NVIDIA GB300 NVL72

Conçu pour l'ère du raisonnement de l'IA.

Prochainement disponible

Inscrivez-vous pour être averti lorsque le NVIDIA GB300 NVL72 sera disponible.

M'avertir

Lire le communiqué de presse

Aperçu

M'avertir

Aperçu

Conçu pour des performances élevées de raisonnement d'IA

Le système NVIDIA GB300 NVL72 se caractérise par une conception rackable à refroidissement liquide qui unifie 72 GPU NVIDIA Blackwell Ultra et 36 CPU NVIDIA Grace™ basés sur Arm® au sein d'une plateforme unique optimisée une inférence optimale à l'échelle du temps de test. Les usines d'IA alimentées par le GB300 NVL72 avec une solution NVIDIA Quantum-X800 InfiniBand ou Spectrum™-X Ethernet couplée à des cartes ConnectX®-8 SuperNIC fournissent un rendement 50 fois plus élevé pour l'inférence des modèles de raisonnement par rapport à la plateforme NVIDIA Hopper™.

Performances

Évolutivité sans précédent des usines d'IA

Résultats de sortie d'une usine d'IA avec NVIDIA Blackwell Ultra

DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 avec désagrégation FP4 Dynamo. H100 avec traitement par lots FP8 In-Flight. Projections de performance susceptibles d’être modifiées.

Bénéficiez de performances de raisonnement d'IA sans précédent grâce à la plateforme NVIDIA GB300 NVL72. Par rapport à Hopper, le GB300 NVL72 offre une réactivité des utilisateurs (TPS par utilisateur) multipliée par 10 et un débit (TPS par mégawatt) multiplié par 5. La combinaison de ces avancées technologiques permet de multiplier par 50 le rendement global des usines d'IA.

Fonctionnalités

Avancées technologiques

Inférence du raisonnement de l'IA

L'échelle des temps de test et le raisonnement de l'IA augmentent les calculs nécessaires pour atteindre une qualité de service et un débit maximal. Les cœurs Tensor de NVIDIA Blackwell Ultra sont boostés avec une accélération deux fois plus élevée en matière de couche d'attention et 1,5 fois plus d'opérations de calcul d'IA en virgule flottante par seconde (FLOPS) que les GPU NVIDIA Blackwell.

288 Go de HBM3e

Une capacité mémoire plus importante permet un dimensionnement de lots plus important et des performances de débit maximales. Les GPU NVIDIA Blackwell Ultra offrent une mémoire HBM3e 1,5 fois plus importante en combinaison avec des calculs d'IA supplémentaires, ce qui stimule le débit de raisonnement de l'IA sur les plus grandes longueurs de contexte.

Architecture NVIDIA Blackwell

L'architecture NVIDIA Blackwell offre des avancées révolutionnaires en matière de calcul accéléré, qui donnent naissance à une nouvelle ère de performances, d'efficacité et d'évolutivité inégalées.

NVIDIA ConnectX-8 SuperNIC

Le module d'ES (entrée/sortie) de la carte NVIDIA ConnectX-8 SuperNIC permet d'héberger deux appareils ConnectX-8 à même de fournir une connectivité réseau s'élevant à 800 gigabits par seconde (Gbit/s) pour chaque GPU du système NVIDIA GB300 NVL72. Cela offre les meilleures capacités d'accès direct à la mémoire distante (RDMA) du marché grâce aux plateformes de mise en réseau NVIDIA Quantum-X800 InfiniBand ou Spectrum-X Ethernet, ce qui permet de bénéficier d'une efficacité maximale avec les charges de travail d'IA.

CPU NVIDIA Grace

Le CPU NVIDIA Grace est un processeur révolutionnaire conçu pour les charges de travail de Data Center modernes. Il offre des performances et une bande passante mémoire exceptionnelles avec une efficacité énergétique deux fois plus élevée que les principaux processeurs de serveur d'aujourd'hui.

NVIDIA NVLink de cinquième génération

L'exploitation de tout le potentiel du calcul accéléré nécessite une communication fluide entre chaque GPU. La cinquième génération de NVIDIA NVLink™ offre une interconnexion évolutive qui libère des performances accélérées pour les modèles de raisonnement de l'IA.

NVIDIA GB300 Grace Blackwell Ultra Superchip

Le NVIDIA GB300 NVL72 à l'échelle du rack s'appuie sur la NVIDIA GB300 Grace Blackwell Ultra Superchip, qui comprend quatre GPU NVIDIA Blackwell Ultra, deux CPU Grace et quatre ConnectX-8 SuperNICs. Grâce à la technologie de commutation NVIDIA NVLink et aux DPU NVIDIA BlueField®-3, 18 superpuces combinées forment un GPU massif, spécialement conçu pour l'ère du raisonnement de l'IA.

Spécifications

NVIDIA GB300 NVL72¹

Configuration	72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace
Bande passante NVLink	130 To/s
Mémoire rapide	Jusqu'à 40 To
Mémoire GPU \| Bande passante	Jusqu'à 21 To \| Jusqu'à 576 To/s
Mémoire CPU \| Bande passante	Jusqu'à 18 To SOCAMM avec LPDDR5X \| Jusqu'à 14,3 To/s
Nombre de cœurs de CPU	Cœurs Arm Neoverse V2 2 592 cœurs
Cœurs Tensor FP4	1 400 \| 1 100 PFLOPS
Cœur Tensor FP8/FP6	720 PFLOPS
Cœur Tensor INT8	23 PFLOPS
Cœur Tensor FP16/BF16	360 PFLOPS
Cœur Tensor TF32	180 PFLOPS
FP32	6 PFLOPS
Cœur Tensor FP64 / FP64	100 TFLOPS
1. Spécifications préliminaires. Peut faire l’objet de modifications. Toutes les spécifications de cœur Tensor sont dispersées, sauf indication contraire. 2. Sans dispersion.