NVIDIA GB200 NVL2

L’architecture NVIDIA Blackwell fournit des innovations cruciales pour le calcul accéléré et va définir la nouvelle ère du calcul informatique avec des performances, une efficacité et une évolutivité sans précédent.

Le CPU NVIDIA Grace est un processeur révolutionnaire conçu pour les Data Centers modernes qui exécutent des applications d'IA, de Cloud et de calcul haute performance (HPC). Il fournit des performances et une bande passante mémoire exceptionnelles avec une efficacité énergétique deux fois plus élevée que les processeurs de serveur traditionnels.

NVIDIA NVLink-C2C interconnecte de manière cohérente les CPU Grace et les GPU Blackwell avec un débit de 900 Go/s. GB200 NVL2 exploite le modèle d'interconnexion NVLink-C2C et la technologie NVLink de cinquième génération pour mettre en œuvre un modèle de mémoire à haut degré de cohérence de 1,4 To afin d’accélérer les workflows d'IA de manière significative.

La mise en cache KV (Key Value) à valeur-clé réduit les délais de réponse du LLM en stockant le contexte et l’historique des conversations. La plateforme GB200 NVL2 optimise la mise en cache KV grâce à la mémoire cohérente des CPU Grace et des GPU Blackwell connectés par NVLink-C2C (une technologie jusqu’à 7 fois plus rapide que la norme PCIe), ce qui permet aux LLM de prévoir les mots plus rapidement que les implémentations GPU basées sur la gamme de processeurs x86.

Pour exploiter le plein potentiel du calcul Exascale et de nouveaux modèles d’IA pouvant inclure plusieurs billions de paramètres, il convient de mettre en œuvre des communications fluides et rapides entre chaque GPU au sein d’un cluster de serveurs. La technologie NVLink de cinquième génération repose sur un modèle d’interconnexion évolutif qui contribue à accélérer les performances des modèles d’IA incluant des billions de paramètres (voire beaucoup plus).

Les réseaux de Data Centers jouent un rôle essentiel dans l’innovation et les performances des applications d’IA. Chaque réseau tient lieu de pilier pour l’entraînement des modèles d’IA distribuée et pour la mise en œuvre d'une IA générative à hautes performances. Les solutions de mise en réseau NVIDIA Quantum-X800 InfiniBand et NVIDIA Spectrum™-X800 Ethernetainsi que les DPU NVIDIA BlueField®-3 assurent une évolutivité efficace sur des centaines et des milliers de GPU Blackwell, fournissant ainsi des performances d’application optimales.