Détails des accélérateurs IA AMD Instinct MI300X et MI300A : CDNA 3 et Zen 4 réunis dans une merveille d’emballage avancée

Les AMD Instinct MI300X et MI300A font partie des accélérateurs les plus attendus du segment de l’IA et seront lancés le mois prochain. Il y a beaucoup d’attente autour du premier chef-d’œuvre d’IA à part entière d’AMD et aujourd’hui, nous avons pensé à vous donner un aperçu de ce que vous pouvez attendre de cette merveille technique.

AMD Instinct MI300X est conçu pour les charges de travail d’IA accélérées par GPU tandis que le MI300A s’attaque au HPC avec le package APU le plus avancé techniquement

Le 6 décembre, AMD organisera son discours d’ouverture « Advancing AI » , dont l’un des principaux objectifs est de dévoiler complètement la famille d’accélérateurs Instinct de nouvelle génération, nommée MI300. Cette nouvelle famille accélérée par GPU et CPU sera le produit phare du segment IA qui est le n°1 d’AMD et la priorité stratégique la plus importante à l’heure actuelle, car elle déploie enfin un produit non seulement avancé, mais également conçu pour répondre aux exigences critiques. Exigence en matière d’IA au sein de l’industrie. La classe MI300 d’accélérateurs d’IA sera une autre centrale de chipsets, utilisant les technologies d’emballage avancées de TSMC. Voyons donc ce qui se cache sous le capot de ces monstres d’IA.

AMD Instinct MI300X – Défier la suprématie de l’IA de NVIDIA avec CDNA 3 et une mémoire énorme

L’AMD Instinct MI300X est certainement la puce qui sera le plus mise en avant puisqu’elle est clairement destinée aux accélérateurs Hopper de NVIDIA et Gaudi d’Intel au sein du segment de l’IA. Cette puce a été conçue uniquement sur l’architecture CDNA 3 et il se passe beaucoup de choses. La puce va héberger un mélange d’IP de 5 nm et de 6 nm, tous combinés pour fournir jusqu’à 153 milliards de transistors (MI300X).

Dès la conception, l’interposeur principal est doté d’une puce passive qui abrite la couche d’interconnexion à l’aide d’une solution Infinity Fabric de nouvelle génération. L’interposeur comprend un total de 28 puces, dont huit packages HBM3, 16 puces factices entre les packages HBM et quatre puces actives, et chacune de ces puces actives reçoit deux puces de calcul.

Chaque GCD basé sur l’architecture GPU CDNA 3 comprend un total de 40 unités de calcul, ce qui équivaut à 2 560 cœurs. Il y a huit matrices de calcul (GCD) au total, ce qui nous donne un total de 320 unités de calcul et 20 480 unités de base. Pour les rendements, AMD réduira une petite partie de ces cœurs et nous obtiendrons plus de détails sur les configurations exactes dans un mois.

La mémoire est un autre domaine dans lequel vous constaterez une énorme mise à niveau avec le MI300X offrant une capacité HBM3 50 % supérieure à celle de son prédécesseur, le MI250X (128 Go). Pour atteindre un pool de mémoire de 192 Go, AMD équipe le MI300X de 8 piles HBM3 et chaque pile est de 12-Hi tout en intégrant des circuits intégrés de 16 Go, ce qui nous donne une capacité de 2 Go par circuit intégré ou 24 Go par pile. La mémoire offrira jusqu’à 5,2 To/s de bande passante et 896 Go/s de bande passante Infinity Fabric. À titre de comparaison, le prochain accélérateur H200 AI de NVIDIA offre des capacités de 141 Go, tandis que Gaudi 3 d’Intel offrira des capacités de 144 Go. Les grands pools de mémoire sont très importants dans les LLM qui sont pour la plupart liés à la mémoire et AMD peut certainement montrer ses prouesses en matière d’IA en étant leader dans le département de mémoire.

En termes de consommation d’énergie, l’AMD Instinct MI300X est évalué à 750 W, soit une augmentation de 50 % par rapport aux 500 W de l’Instinct MI250X et 50 W de plus que le NVIDIA H200.

AMD Instinct MI300A – Les APU exascale densément emballés sont désormais une réalité

Nous attendons depuis des années qu’AMD tienne enfin la promesse d’un APU de classe Exascale et le jour approche à mesure que nous nous rapprochons du lancement de l’Instinct MI300A. Le packaging du MI300A est très similaire à celui du MI300X, sauf qu’il utilise des capacités de mémoire optimisées pour le TCO et des cœurs Zen 4.

L’une des matrices actives comporte deux GCD CDNA 3 découpés et remplacés par trois CCD Zen 4 qui offrent leur propre pool séparé de cache et d’adresses IP principales. Vous obtenez 8 cœurs et 16 threads par CCD, soit un total de 24 cœurs et 48 threads sur la puce active. Il existe également 24 Mo de cache L2 (1 Mo par cœur) et un pool de cache séparé (32 Mo par CCD). Il faut rappeler que les GCD CDNA 3 ont également le cache L2 séparé.

Pour résumer certaines des fonctionnalités mises en avant des accélérateurs AMD Instinct MI300, nous avons :

• Premier package CPU + GPU intégré
• Viser le marché des supercalculateurs exascale
• AMD MI300A (CPU + GPU intégrés)
• AMD MI300X (GPU uniquement)
• 153 milliards de transistors
• Jusqu’à 24 cœurs Zen 4
• Architecture GPU CDNA3
• Jusqu’à 192 Go de mémoire HBM3
• Jusqu’à 8 chipsets + 8 piles de mémoire (processus 5 nm + 6 nm)

En réunissant tous ces éléments, AMD travaillera avec ses facilitateurs et partenaires de l’écosystème pour proposer des accélérateurs d’IA MI300 dans des configurations à 8 voies comportant des conceptions SXM qui se connectent à la carte mère avec des connecteurs mezzanine. Il sera intéressant de voir dans quels types de configurations elles seront proposées et bien que les cartes SXM soient une évidence, nous pouvons également nous attendre à quelques variantes dans les facteurs de forme PCI-E.

Pour l’instant, AMD devrait savoir que ses concurrents se lancent également à toute vapeur dans l’engouement pour l’IA, NVIDIA annonçant déjà des chiffres énormes pour ses GPU Blackwell 2024 et Intel préparant également ses GPU Guadi 3 et Falcon Shores pour le lancement dans les années à venir. Une chose est sûre à l’heure actuelle, les clients de l’IA engloutiront presque tout ce qu’ils peuvent obtenir et tout le monde en profitera. Mais AMD dispose d’une solution très redoutable qui ne vise pas seulement à être une alternative à NVIDIA mais aussi un leader dans le segment de l’IA et nous espérons que le MI300 pourra les aider à atteindre ce succès.

Accélérateurs AMD Radeon Instinct