31:00
NVIDIA NIM-Microservices
Entwickelt für die schnelle, zuverlässige und an beliebiger Stelle mögliche Bereitstellung beschleunigter generativer KI-Inferenz.
Überblick
Was ist NVIDIA NIM?
NVIDIA NIM™ bietet vorgefertigte, optimierte Inferenz-Microservices für die schnelle Bereitstellung der neuesten KI-Modelle in jeder NVIDIA-beschleunigten Infrastruktur – in der Cloud, im Rechenzentrum, auf der Workstation und am Netzwerkrand.
Schnellere KI-Bereitstellung mit NVIDIA NIM
NVIDIA NIM kombiniert die Benutzerfreundlichkeit und die einfache Handhabung verwalteter APIs mit der Flexibilität und Sicherheit durch selbst gehostete Modelle innerhalb der bevorzugten Infrastruktur. NIM-Microservices werden zusammen mit allem bereitgestellt, was KI-Teams benötigen – den neuesten KI-Foundation-Modellen, optimierten Inferenz-Engines, APIs nach Branchenstandard und erforderlichen Laufzeitkomponenten – als Software-Pakete in Containern mit Enterprise-Qualität, die direkt an beliebiger Stelle eingesetzt und skaliert werden können.
Vorteile
Generative Unternehmens-KI, die für weniger mehr bietet
Unkomplizierte, unternehmensgerechte Microservices für hochleistungsfähige KI – konzipiert für nahtlose Funktion und kostengünstige Skalierung: Profitieren Sie von kürzester Zeit bis zur Wertschöpfung bei KI-Agenten und in anderen Bereichen der generativen KI, die auf den neuesten KI-Modellen für Reasoning, Simulation, Sprache usw. basieren.
Unkomplizierte Nutzung
Beschleunigen Sie die Innovation und verkürzen Sie die Markteinführungszeit mit vorgefertigten, optimierten Microservices für die neuesten KI-Modelle. Mit Standard-APIs können Modelle in fünf Minuten bereitgestellt und einfach in Anwendungen integriert werden.
Unternehmensstandard
Stellen Sie unternehmensgerechte Microservices bereit, die kontinuierlich von NVIDIA mit strengen Validierungsprozessen und spezifischen Funktionszweigen verwaltet werden – alles unterstützt vom NVIDIA-Unternehmenssupport, der auch direkten Kontakt zu NVIDIA-AI-Experten bietet.
Leistung und Skalierbarkeit
Senken Sie die Gesamtbetriebskosten durch KI-Inferenz mit geringer Latenz und hohem Durchsatz, die mit der Cloud skalierbar ist, und erzielen Sie von Anfang an höchste Genauigkeit mit Unterstützung für fein abgestimmte Modelle.
Portabilität
Stellen Sie die Lösung an beliebiger Stelle mit vorgefertigten Cloud-nativen Microservices bereit, die in jeder NVIDIA-beschleunigten Infrastruktur genutzt werden können – in der Cloud, im Rechenzentrum und mit Workstations – und die in Kubernetes- und Cloud-Service-Provider-Umgebungen nahtlos skalierbar sind.
Demo
Entwicklung von KI-Agenten mit NIM
Sehen Sie zu, wie zwei KI-Agenten eingerichtet werden – einer für die Generierung von Inhalten und ein anderer für digitales Grafikdesign – und erfahren Sie, wie einfach die Realisierung mit NIM-Microservices ist.
Technologie
Bausteine für agentenbasierte KI
Benchmarks
Durchsatz mit NIM steigern
NVIDIA NIM bietet von Haus aus optimierten Durchsatz und optimierte Latenz, um die Token-Generierung zu maximieren, gleichzeitige Benutzer zu Spitzenzeiten zu unterstützen und das Reaktionsverhalten zu verbessern. NIM-Microservices werden kontinuierlich mit den neuesten optimierten Inferenz-Engines aktualisiert, was die Leistung innerhalb der gleichbleibenden Infrastruktur im Laufe der Zeit weiter steigert.
Konfiguration: Llama 3.1 8B instruct, 1 x H100 SXM; gleichzeitige Anfragen: 200. NIM aktiviert: FP8, Durchsatz 1201 Token/s, ITL 32 ms. NIM aus: FP8, Durchsatz 613 Token/Sekunde, ITL 37 ms.
Modelle
Entwicklung mit führenden offenen Modellen
Profitieren Sie von optimierter Inferenzleistung mit den neuesten KI-Modellen, um multimodale agentenbasierte KI mit Funktionen für Schlussfolgerung, Übersetzung, Retrieval, Sprache, Bilderzeugung und mehr zu unterstützen. Zu den NVIDIA Inference Microservices (NIM) gehören beschleunigte Inferenz-Engines von NVIDIA und der Community, einschließlich NVIDIA® TensorRT™, TensorRT-LLM und mehr – vorgefertigt und für Inferenz mit geringer Latenz und hohem Durchsatz in einer NVIDIA-beschleunigten Infrastruktur optimiert.
Merkmale
Der einfache Weg für die KI-Entwicklung und -Bereitstellung
NIM-Inferenz-Microservices sind für den Einsatz an beliebiger Stelle konzipiert und bieten APIs nach Branchenstandard für die einfache Integration in Unternehmenssysteme und -anwendungen. Sie lassen sich nahtlos auf Kubernetes skalieren, um Inferenz mit hohem Durchsatz und geringer Latenz im Cloud-Maßstab zu ermöglichen.
NIM bereitstellen
Stellen Sie NIM für Ihr Modell mit einem einzigen Befehl bereit. Entsprechend unkompliziert ist die Nutzung von NIM mit fein abgestimmten Modellen.
Inferenz ausführen
Nutzen Sie NIM in Verbindung mit der optimalen, auf Ihrer NVIDIA-beschleunigten Infrastruktur basierenden Runtime-Engine.
Entwickeln
Integrieren Sie selbst gehostete NIM-Endpunkte mit nur wenigen Codezeilen.
Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \
'http://0.0.0.0:8000/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model" : "model_name",
"prompt" : "Once upon a time",
"max_tokens" : 64
}'
import openai
client = openai.OpenAI(
base_url = "YOUR_LOCAL_ENDPOINT_URL",
api_key="YOUR_LOCAL_API_KEY"
)
chat_completion = client.chat.completions.create(
model="model_name",
messages=[{"role" : "user" , "content" : "Write me a love song" }],
temperature=0.7
)
Anwendungsfälle
Wie NIM eingesetzt wird
Sehen Sie sich an, wie NVIDIA NIM Anwendungsfälle in der Wirtschaft unterstützt und starten Sie Ihre KI-Entwicklung mithilfe ausgewählter Beispiele.
-
Virtuelle KI-Assistenten
-
Dokumentenanalyse
-
Hyperpersonalisiertes Einkaufen
-
3D-Produktkonfiguratoren
Virtuelle KI-Assistenten
Verbessern Sie das Kundenerlebnis und optimieren Sie Geschäftsprozesse mit generativer KI.
Einstiegsoptionen
Erste Schritte mit NVIDIA NIM
Ressourcen
Die neuesten NVIDIA NIM-Ressourcen
-
Blogs
-
Vorträge
-
Kurse
-
Videos