31:00
Microservizi NIM di NVIDIA
Progettati per la distribuzione rapida e affidabile dell'inferenza IA generativa accelerata ovunque.
Panoramica
Che cos'è NVIDIA NIM?
NVIDIA NIM™ fornisce microservizi di inferenza pre-costruiti e ottimizzati per la distribuzione rapida dei modelli IA più recenti su qualsiasi infrastruttura accelerata da NVIDIA: cloud, data center, workstation ed edge.
Accelera la distribuzione dell'IA con NVIDIA NIM
NVIDIA NIM combina la facilità d'uso e la semplicità operativa delle API gestite con la flessibilità e la sicurezza dei modelli di self-hosting sull'infrastruttura preferita. I microservizi NIM includono tutto ciò di cui i team IA hanno bisogno: i più recenti modelli di base IA, i motori di inferenza ottimizzati, le API standard di settore e le dipendenze di runtime, il tutto pre-confezionato in container software di livello aziendale pronti per la distribuzione e la scalabilità ovunque.
Vantaggi
L'IA generativa per le imprese che fa di più con meno
Microservizi facili e di livello aziendale progettati per l'IA ad alte prestazioni, per funzionare facilmente e scalare in modo conveniente. Scopri il più rapido time-to-value per agenti IA e altre applicazioni di IA generativa aziendale basate sui più recenti modelli IA per il ragionamento, la simulazione, la voce e altro ancora.
Facilità di utilizzo
Accelera l'innovazione e il time-to-market con microservizi pre-costruiti e ottimizzati per i più recenti modelli IA. Grazie alle API standard, i modelli possono essere distribuiti in cinque minuti e facilmente integrati nelle applicazioni.
Livello aziendale
Distribuisci microservizi di livello aziendale continuamente gestiti da NVIDIA attraverso processi di convalida rigorosi e rami di funzionalità dedicate, il tutto sostenuto dal supporto aziendale di NVIDIA, che offre anche accesso diretto agli esperti di NVIDIA AI.
Prestazioni e scalabilità
Migliora il TCO con l'inferenza IA a bassa latenza e ad alto throughput scalabile nel cloud e ottieni la migliore precisione con il supporto per modelli ottimizzati pronti all'uso.
Portabilità
Distribuisci ovunque con microservizi cloud-native e pre-costruiti pronti per l'esecuzione su qualsiasi infrastruttura accelerata da NVIDIA, cloud, data center e workstation, e scala facilmente su ambienti Kubernetes e fornitori di servizi cloud.
Demo
Crea agenti IA con NIM
Scopri come configurare due agenti IA, uno per la generazione di contenuti e l'altro per la progettazione grafica digitale, e scopri quanto sia facile iniziare a utilizzare i microservizi NIM.
Tecnologia
Elementi costitutivi dell'IA per agenti
Benchmark
Migliora il throughput con NIM
NVIDIA NIM offre un throughput e una latenza ottimizzati pronti all'uso per massimizzare la generazione di token, supportare più utenti simultaneamente nelle ore con maggiore traffico e migliorare la reattività. I microservizi NIM sono continuamente aggiornati con i più recenti motori di inferenza ottimizzati, che aumentano le prestazioni sulla stessa infrastruttura nel tempo.
Configurazione: Llama 3.1 8B instruct, 1 H100 SXM; richieste simultanee: 200. NIM ON: FP8, throughput 1201 token/s, ITL 32ms. NIM OFF: FP8, throughput 613 token/sec, ITL 37 ms.
Modelli
Crea con i principali modelli aperti
Ottieni prestazioni di inferenza ottimizzate per i modelli IA più recenti per alimentare l'IA per agenti multimodali con ragionamento, linguaggio, recupero, voce, immagini e altro ancora. NIM è dotato di motori di inferenza accelerati da NVIDIA e della community, tra cui NVIDIA® TensorRT™, TensorRT-LLM e molto altro ancora, pre-costruiti e ottimizzati per l'inferenza a bassa latenza e ad alto throughput sull'infrastruttura accelerata da NVIDIA.
Caratteristiche
Il pulsante facile per lo sviluppo e la distribuzione dell'IA
Progettati per essere eseguiti ovunque, i microservizi di inferenza NIM espongono le API standard di settore per una facile integrazione con i sistemi e le applicazioni aziendali e scalano facilmente su Kubernetes per fornire un'inferenza ad alto throughput e a bassa latenza su scala cloud.
Distribuzione NIM
Distribuisci NIM per il tuo modello con un unico comando. Inoltre, è possibile eseguire facilmente NIM con modelli ottimizzati.
Esecuzione dell'inferenza
Inizia a usare la tecnologia NIM con il motore di esecuzione ideale basato sulla tua infrastruttura accelerata da NVIDIA.
Creazione
Gli sviluppatori possono integrare gli endpoint NIM self-hosted con poche righe di codice.
Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \
'http://0.0.0.0:8000/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model" : "model_name",
"prompt" : "Once upon a time",
"max_tokens" : 64
}'
import openai
client = openai.OpenAI(
base_url = "YOUR_LOCAL_ENDPOINT_URL",
api_key="YOUR_LOCAL_API_KEY"
)
chat_completion = client.chat.completions.create(
model="model_name",
messages=[{"role" : "user" , "content" : "Write me a love song" }],
temperature=0.7
)
Casi d'uso
Come viene utilizzato NIM
Scopri come NVIDIA NIM supporta i casi d'uso del settore e l'avvio dello sviluppo dell'IA con esempi selezionati.
-
Assistenti virtuali IA
-
Document Intelligence
-
Shopping iperpersonalizzato
-
Configuratori per prodotti 3D
Assistenti virtuali IA
Migliora le esperienze dei clienti e rendi più efficienti i processi aziendali grazie all'IA generativa.
Opzioni per iniziare
Come iniziare con NVIDIA NIM
Risorse
Le più recenti risorse NVIDIA NIM
-
Blog
-
Sessioni
-
Corsi
-
Video