NVIDIA Vera Rubin NVL72
Développer la nouvelle frontière de l'IA agentique, désormais en pleine production.
Aperçu
Sept nouvelles puces, un supercalculateur d'IA
NVIDIA Vera Rubin NVL72 unifie les technologies de pointe de NVIDIA, notamment 72 GPU Rubin, 36 CPU Vera, des SuperNIC NVIDIA ConnectX™-9 et des DPU BlueField™-4. Il augmente l'intelligence dans une plateforme à l'échelle du rack, grâce au commutateur NVIDIA NVLink™ 6 et évolue avec NVIDIA Quantum-X800 InfiniBand et Spectrum-X™ Ethernet pour alimenter la révolution industrielle de l'IA à grande échelle. Lorsqu'il est déployé avec des racks NVIDIA Groq 3 LPX, Vera Rubin NVL72 fournit un nouveau niveau de performances d'inférence pour les modèles comportant des trillions de paramètres et un contexte d'un million de jetons.
Vera Rubin NVL72 repose sur la conception de rack NVIDIA MGX™ NVL72 de troisième génération, ce qui permet une transition en douceur avec les générations précédentes. Il fournit un entraînement d'IA avec un quart des GPU et une inférence d'IA pour un dixième du coût par million de jetons par rapport à NVIDIA Blackwell. Grâce à des conceptions de plateaux modulaires sans câble et à une prise en charge de plus de 80 partenaires de l'écosystème MGX, le supercalculateur d'IA à l'échelle de la baie offre des performances de classe mondiale avec un déploiement rapide.
Performances
Gains d'efficacité massifs en matière d'inférence et d'entraînement de l'IA
Performances d'inférence LLM sujettes à modification. Coût par million de jetons basé sur un modèle Kimi-K2-Thinking utilisant 32K/8K ISL/OSL en comparant NVIDIA GB200 NVL72 et NVIDIA Vera Rubin NVL72.
Réduire les coûts d'inférence
NVIDIA Vera Rubin NVL72 délivre un dixième du coût par million de jetons par rapport à NVIDIA GB200 NVL72 pour une IA agentique hautement interactive et dotée d'un raisonnement approfondi.
Maximiser le rendement des usines d'IA
NVIDIA Vera Rubin NVL72 fournit jusqu'à 10 fois plus de jetons par mégawatt que NVIDIA GB200 NVL72, permettant une intelligence évolutive tout en conservant la même empreinte énergétique.
Performances d'inférence LLM sujettes à modification. Jetons par seconde par mégawatt basés sur le modèle Kimi-K2 Thinking utilisant 32K/8K ISL/OSL en comparant NVIDIA GB200 NVL72 et NVIDIA Vera Rubin NVL72.
Projections de performance sujettes à modification. Nombre de GPU basés sur un modèle MoE 10T entraîné sur 100 T de jetons sur une période fixe d'un mois, en comparant NVIDIA GB200 NVL72 et NVIDIA Vera Rubin NVL72.
Augmenter l'efficacité de la formation
NVIDIA Vera Rubin NVL72 entraîne des modèles MoE (Mixture-of-Experts) avec un quart du nombre de GPU par rapport à NVIDIA GB200 NVL72.
Débit 35 fois plus élevé pour les modèles comptant des billions de paramètres
Les systèmes agentiques consomment jusqu'à 15 fois plus de jetons que les applications d'IA traditionnelles. Les usines d'IA doivent par conséquent fournir un volume élevé de jetons et d'importantes fenêtres de contexte avec une latence faible et une économie efficace. L'association de LPX et de Vera Rubin NVL72 fournit un débit par mégawatt jusqu'à 35 fois supérieur pour des modèles comportant des billions de paramètres.
Projections de performance sujettes à modification. Niveau gratuit (0 $) : modèle Qwen-3 à 235 milliards de paramètres avec 32 000 jetons à valeur clé (KV) mis en cache. Niveau moyen (3 $) : modèle Kimi K2.5 à un billion de paramètres avec 128 000 jetons à valeur clé (KV) mis en cache. Niveau élevé (6 $) : modèle GPT-MoE à 2 billions de paramètres avec 128 000 jetons à valeur clé (KV) mis en cache. Niveaux Premium (45 $) et Ultra (150 $) : modèle GPT-MoE à 2 billions de paramètres avec 400 000 jetons à valeur clé (KV) mis en cache.
Alimenter l'ère des agents d'IA
La plateforme Vera Rubin
La plateforme Vera Rubin ouvre la nouvelle frontière de l'IA agentique avec cinq racks permettant de faire évoluer les usines d'IA du monde entier : NVIDIA Vera Rubin NVL72, le CPU NVIDIA Vera, NVIDIA Groq 3 LPX, NVIDIA Vera BlueField-4 STX et NVIDIA Spectrum-6 SPX Ethernet. Conçues pour fonctionner ensemble comme un supercalculateur d'IA unique, ces racks alimentent toutes les phases de l'IA, du pré-entraînement à grande échelle, du post-entraînement et de la mise à l'échelle en phase de test jusqu'à l'inférence agentique en temps réel.
NVIDIA Vera Rubin NVL4
NVIDIA Vera Rubin NVL4 offre des performances révolutionnaires grâce à quatre GPU NVIDIA Rubin interconnectés par un pont NVLink de deuxième génération exécutant NVIDIA NVLink de sixième génération, associés à deux processeurs NVIDIA Vera via NVLink-C2C. Compatible avec les serveurs modulaires NVIDIA MGX à refroidissement liquide, il fournit des performances jusqu'à 4 fois plus élevées pour la simulation de calcul scientifique, 6 fois plus élevées pour l'entraînement à l'IA pour la science et 8 fois plus élevées pour l'inférence de l'IA pour la science par rapport à Grace Hopper.
Spécifications
Spécifications de l'usine d'IA de 100 MW
| Usine d'IA basée sur NVIDIA Vera Rubin NVL72¹ | |
|---|---|
| Configuration de la taille des usines d'IA | 40 000 GPU NVIDIA Rubin avec MaxLPS |
| Inférence NVFP4² | 2 ZFLOPS |
| Entraînement NVFP4³ | 1,4 ZFLOPS |
| Entraînement FP8/FP6³ | 700 EFLOPS |
| FP16/BF16³ | 160 EFLOPS |
| TF32³ | 80 EFLOPS |
| Mémoire GPU | Bande passante | 12 PB HBM4 | 800 PB/s |
| Mémoire CPU | Jusqu'à 30 PB LPDDR5X |
| Mémoire rapide | Jusqu'à 42 PB |
Spécifications de NVIDIA Vera Rubin NVL72
| NVIDIA Vera Rubin NVL72 | Superpuce NVIDIA Vera Rubin | GPU NVIDIA Rubin | |
|---|---|---|---|
| Configuration | 72 GPU NVIDIA Rubin | 36 CPU NVIDIA Vera | 2 GPU NVIDIA Rubin | 1 CPU NVIDIA Vera | 1 GPU NVIDIA Rubin |
| Inférence NVFP4² | 3 600 PFLOPS | 100 PFLOPS | 50 PFLOPS |
| Entraînement NVFP4³ | 2 520 PFLOPS | 70 PFLOPS | 35 PFLOPS |
| Entraînement FP8/FP6³ | 1 260 PFLOPS | 35 PFLOPS | 17,5 PFlops |
| FP16/BF16³ | 288 PFLOPS | 8 PFLOPS | 4 PFLOPS |
| TF32³ | 144 PFlops | 4 PFLOPS | 2 PFlops |
| FP32 | 9 360 TFLOPS | 260 TFLOPS | 130 TFLOPS |
| FP64 | 2 400 TFLOPS | 67 TFlops | 33 TFLOPS |
| Mémoire GPU | Bande passante | 20,7 To HBM4 | 1 400 To/s | 576 Go HBM4 | 38,5 To/s | 288 Go HBM4 | 19,2 To/s |
| NVIDIA NVLink | Sixième génération | ||
| Bande passante NVLink | 216 To/s |
6 To/s | 3 To/s |
| Bande passante NVLink-C2C | 65 To/s | 1,8 To/s | - |
| Nombre de cœurs de CPU | 3 168 cœurs NVIDIA Olympus personnalisés | 6 336 threads | 88 cœurs NVIDIA Olympus personnalisés 176 threads | - |
| Mémoire CPU | Jusqu'à 54 To LPDDR5X | Jusqu'à 1,5 To LPDDR5X | - |
| Bande passante de mise en réseau (évolutivité)⁴ | 32,4 To/s | 0,9 To/s | 0,45 To/s |
| Total des puces NVIDIA + HBM4 | 1 296 | 30 | 12 |
| GPU dans 100 MW¹ | 40 000 GPU | ||
| Température d'entrée | 45 °C | ||
1. Spécifications basées sur une usine d'IA à grande échelle utilisant NVIDIA DSX avec MaxLPS.
2. Spécification Sparse.
3. Spécification Dense.
4. Bande passante bidirectionnelle.
Démarrer
Suivez l’actualité de NVIDIA
Inscrivez-vous pour recevoir les dernières informations et annonces de NVIDIA.