31:00
Microservices NVIDIA NIM
Conçus pour déployer rapidement et de manière fiable une inférence de l'IA générative accélérée partout où vous en avez besoin.
Aperçu
Qu'est-ce que NVIDIA NIM ?
NVIDIA NIM™ fournit des microservices d'inférence préconstruits et optimisés permettant de déployer rapidement les derniers modèles d'IA sur n'importe quelle infrastructure accélérée par NVIDIA : Cloud, Data Center, station de travail et Edge.
Accélérez le déploiement de l'IA avec NVIDIA NIM
NVIDIA NIM combine la facilité d'utilisation et la simplicité opérationnelle des API gérées à la flexibilité et à la sécurité des modèles auto-hébergés sur votre infrastructure préférée. Les microservices NIM sont fournis avec tout ce dont les équipes travaillant avec l'IA ont besoin (les derniers modèles de fondation, des moteurs d'inférence optimisés, des API aux normes du secteur et les dépendances runtime), le tout packagé dans des conteneurs logiciels d'entreprise prêts à être déployés et étendus n'importe où.
Avantages
L'IA générative d'entreprise qui fait plus avec moins
Microservices simples de qualité entreprise, conçus pour une IA hautes performances, fonctionner de manière transparente et évoluer à moindre coût. Bénéficiez des délais de mise sur le marché les plus courts d'agents d'IA et d'autres applications d'IA générative d'entreprise qui s'appuient sur les derniers modèles d'IA dans les domaines du raisonnement, de la simulation, de la parole, et bien plus encore.
Simplicité d’utilisation
Accélérez l'innovation et les délais de mise sur le marché grâce à des microservices préconstruits, optimisés pour les derniers modèles d'IA. Grâce à des API standard, les modèles peuvent être déployés en cinq minutes et intégrés facilement aux applications.
Niveau entreprise
Déployez des microservices de niveau entreprise gérés en permanence par NVIDIA grâce à des processus de validation rigoureux et à des fonctionnalités spécialisées dédiées, le tout soutenu par l'assistance de NVIDIA, qui offre également un accès direct aux experts de NVIDIA AI.
Performances et évolutivité
Améliorez le coût total de possession avec une inférence de l'IA à faible latence, haut débit et évolutive dans le Cloud, et profitez d'une précision hors pairs grâce à la prise en charge intégrée des modèles affinés.
Portabilité
Profitez d'un déploiement n'importe où grâce à des microservices natifs du Cloud préconstruits pouvant s'exécuter sur n'importe quelle infrastructure accélérée par NVIDIA (Cloud, Data Center et station de travail), et passez en toute simplicité sur Kubernetes et des environnements de fournisseurs de services Cloud.
Démo
Développez des agents d'IA avec NIM
Découvrez comment configurer deux agents d'IA, l'un pour la génération de contenu et l'autre pour la conception graphique numérique, et découvrez à quel point il est facile de les mettre en service avec les microservices NIM.
Technologie
Composants-clés de l'IA agentique
Benchmarks
Boostez le rendement avec NIM
NVIDIA NIM fournit une latence et un débit optimisés dès la première utilisation, pour maximiser la génération de jetons, prendre en charge plusieurs utilisateurs simultanés aux heures de pointe et améliorer la réactivité. Les microservices NIM sont constamment mis à jour avec les derniers moteurs d'inférence optimisés, ce qui permet d'améliorer les performances sur la même infrastructure au fil du temps.
Configuration : Llama 3.1 8B instruct, 1x H100 SXM ; demandes simultanées : 200. NIM ON : FP8, débit de 1 201 jetons/s, ITL 32 ms. NIM OFF : FP8, débit de 613 jetons/sec, ITL 37 ms.
Modèles
Créez à l'aide des principaux modèles ouverts
Obtenez des performances d'inférence optimisées pour les derniers modèles d'IA afin de mettre en œuvre une IA agentique multimodale avec le raisonnement, le langage, la récupération, la parole, l'image, et bien plus encore. NIM est livré avec les moteurs d'inférence accélérés développés par NVIDIA et la communauté, notamment NVIDIA® TensorRT™, TensorRT-LLM, et bien plus encore, tous préconstruits et optimisés pour une inférence à faible latence et à haut débit sur une infrastructure accélérée par NVIDIA.
Fonctionnalités
Le bouton Facile du développement et du déploiement de l'IA
Les microservices d'inférence NIM sont conçus pour fonctionner n'importe où et utilisent des API aux normes du secteur pour être facilement intégrés aux systèmes et aux applications d'entreprise. Ils passent en outre sans encombre sur Kubernetes pour fournir une inférence haut débit et faible latence dans le Cloud.
Déployez NIM
Déployez NIM pour votre modèle avec une seule commande. Vous pouvez également exécuter NIM très facilement avec des modèles affinés.
Exécutez l'inférence
Lancez NIM avec le moteur d'exécution optimal en fonction de votre infrastructure accélérée par NVIDIA.
Créez
Intégrez des points de terminaison NIM auto-hébergés en seulement quelques lignes de code.
Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \
'http://0.0.0.0:8000/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model" : "model_name",
"prompt" : "Once upon a time",
"max_tokens" : 64
}'
import openai
client = openai.OpenAI(
base_url = "YOUR_LOCAL_ENDPOINT_URL",
api_key="YOUR_LOCAL_API_KEY"
)
chat_completion = client.chat.completions.create(
model="model_name",
messages=[{"role" : "user" , "content" : "Write me a love song" }],
temperature=0.7
)
Cas d'utilisation
Utilisation de NIM
Découvrez des cas d'utilisation de NVIDIA NIM spécifiques à chaque secteur et accélérez le développement de l’IA dans votre entreprise grâce à des exemples triés sur le volet.
-
Assistants IA virtuels
-
Traitement des documents
-
Achats hyperpersonnalisés
-
Configurateurs de produits 3D
Assistants IA virtuels
Améliorez l'expérience des clients et les processus métiers grâce à l'IA générative.
Options de démarrage
Comment démarrer avec NVIDIA NIM
Ressources
Nouvelles ressources NVIDIA NIM
-
Articles de blog
-
Sessions
-
Cours
-
Vidéos