NVIDIA GB200 NVL72

Le GB200 NVL72 présente des capacités de pointe et un moteur de transformateur de deuxième génération, qui permet l'IA FP4. Lorsqu'il est couplé à NVIDIA NVLink de cinquième génération, il offre des performances d'inférence des LLM en temps réel 30 fois plus rapides pour les modèles de langage à plusieurs billions de paramètres. Cette avancée est rendue possible par une nouvelle génération de cœurs Tensor, qui introduisent de nouveaux formats de microscalage, offrant une précision élevée et un débit plus élevé. En outre, le GB200 NVL72 utilise NVLink et le refroidissement liquide pour créer un seul rack massif de 72 GPU capable de surmonter les goulets d'étranglement en matière de communication.

Le GB200 NVL72 inclut un moteur de transformateur de deuxième génération plus rapide, doté d'une précision FP8, ce qui permet d'entraîner quatre fois plus rapidement les grands modèles de langage à grande échelle. Cette avancée est complétée par la 5ème génération NVLink, qui fournit 1,8 To/s d'interconnexion GPU-à-GPU, la mise en réseau InfiniBand et le logiciel NVIDIA Magnum IO™.

Les racks GB200 NVL72 refroidis par liquide réduisent l'empreinte carbone et la consommation d'énergie des Data Centers. Le refroidissement liquide augmente la densité de calcul, réduit l'espace au sol utilisé et facilite les communications GPU à bande passante élevée et à faible latence avec les grandes architectures de domaine NVLink. Comparé à l'infrastructure NVIDIA H100 refroidie par air, le GB200 offre des performances 25 fois plus élevées à la même consommation, tout en réduisant la consommation d'eau.

Les bases de données jouent un rôle essentiel dans la gestion, le traitement et l'analyse d'importants volumes d'informations dans les entreprises. GB200 tire parti de la bande passante élevée de l'interface NVLink-C2C et des moteurs de décompression dédiés de l'architecture NVIDIA Blackwell pour accélérer le pipeline de demandes de bases de données jusqu'à 18 fois par rapport au traitement CPU, mais également réduire jusqu'à 5 fois le coût total de possession.