Sofortige Bereitstellung generativer KI mit NVIDIA NIM

Entdecken Sie die neuesten KI-Modelle, die von der Community mit einer von NVIDIA optimierten und beschleunigten API erstellt wurden, und stellen Sie sie anschließend mit NVIDIA NIM-Inferenz-Microservices überall bereit.

Jetzt testen Video ansehen

Modelle

Jetzt testen

Führende offene Modelle jetzt entdecken

Integrationen

Beschleunigte KI ist nur einen API-Aufruf entfernt

Legen Sie mit vertrauten APIs direkt los.

Nahtlose Kompatibilität mit beliebten Bibliotheken

Nutzen Sie NVIDIA-APIs in Ihren vorhandenen Tools und Anwendungen mit nur drei Codezeilen.

Entwickeln Sie mit den Tools, die Sie lieben

Arbeiten Sie mit Ihren bevorzugten Frameworks für LLM-Programmierung, einschließlich Langchain und LlamaIndex, und stellen Sie Ihre Anwendungen mühelos bereit.

Learn More About Building With These Tools and NVIDIA NIM

Entwickeln Sie mit den Tools, die Sie lieben

Gewinnen Sie Erkenntnisse aus Unternehmensdaten

Daten sind die Grundlage moderner Unternehmensanwendungen. Verbinden Sie KI-Agenten mit Unternehmensdaten im großen Maßstab über ein KI-Abfragemodul, das RAG (Retrieval-Augmented Generation) verwendet, um Mitarbeiter mit sofortigem, genauem institutionellem Wissen zu versorgen.

Mehr erfahren

NVIDIA Blueprints

Alles, was Sie brauchen, um wirkungsvolle generative KI-Anwendungen zu entwickeln. Jeder Blueprint umfasst NVIDIA NIM und Partner-Microservices, einen oder mehrere KI-Agenten, Beispielcode, Anleitungen für Anpassungen und einen Helm-Chart für die Bereitstellung.

Mehr erfahren

Jetzt ausprobieren

Systemunabhängig

Beschleunigen Sie Ihre KI-Bereitstellung mit NVIDIA NIM

NVIDIA NIM ist Teil von NVIDIA AI Enterprise und besteht aus einer Reihe von benutzerfreundlichen Inferenz-Microservices, die die Bereitstellung von Basismodellen in jeder Cloud oder jedem Rechenzentrum beschleunigen und zur Sicherheit Ihrer Daten beitragen.

Jetzt bereitstellen

Accelerate Your AI Deployment With NVIDIA NIM

Erfahren Sie mehr über NVIDIA NIM

So setzen Sie NIM innerhalb von fünf Minuten ein

NIM-Bereitstellung

Stellen Sie NIM mit einem einzigen Befehl für Ihr Modell bereit. Außerdem können Sie NIM ganz einfach mit optimierten Modellen ausführen.

Inferenz-Ausführung

Nutzen Sie NIM mit der optimalen Laufzeit-Engine, die auf Ihrer NVIDIA-beschleunigten Infrastruktur basiert.

Entwicklung

Entwickler können selbst gehostete NIM-Endpunkte mit nur wenigen Codezeilen integrieren.

Deploy

Run

Build

docker run nvcr.io/nim/publisher_name/model_name

 
 curl -X 'POST' \ 
  'http://0.0.0.0:8000/v1/completions' \ 
  -H 'accept: application/json' \ 
  -H 'Content-Type: application/json' \ 
  -d '{ 
  "model" : "model_name", 
  "prompt" : "Once upon a time", 
  "max_tokens" : 64 
 }' 

 
 import openai 
 client = openai.OpenAI( 
  base_url = "YOUR_LOCAL_ENDPOINT_URL", 
  api_key="YOUR_LOCAL_API_KEY" 
 ) 
 chat_completion = client.chat.completions.create( 
  model="model_name", 
  messages=[{"role" : "user" , "content" : "Write me a love song" }], 
  temperature=0.7 
 ) 

Lokal starten oder mit Kubernetes skalieren

Stellen Sie containerisierte KI-Microservices nahtlos auf beliebigen NVIDIA-beschleunigten Infrastrukturen bereit, von einem einzelnen Gerät bis hin zu Rechenzentren.

Bleiben Sie auf der sicheren Seite und setzen Sie Ihre Pläne ohne Bedenken um

Sichere Anwendung ohne Bedenken

Verlassen Sie sich auf im Produktivbetrieb einsatzbereite Laufzeitumgebungen, einschließlich laufender Sicherheitsupdates, und nutzen Sie für Ihre Geschäftsanwendungen stabile APIs mit Support auf Enterprise-Niveau.

Reduzieren Sie kontinuierlich Kosten und Ihren CO₂-Fußabdruck

Reduzieren Sie Kosten und Ihren CO₂-Fußabdruck

Senken Sie die Betriebskosten für die Ausführung von Modellen im Produktivbetrieb mit KI-Laufzeiten, die auf NVIDIA-beschleunigter Infrastruktur kontinuierlich optimiert werden, um Latenzzeiten zu verringern und den Durchsatz zu erhöhen.

Durchsatz

NVIDIA NIM bietet von Haus aus optimierten Durchsatz und Latenz, um die Token-Generierung zu maximieren, gleichzeitige Benutzer zu Spitzenzeiten zu unterstützen und die Reaktionsfähigkeit zu verbessern.

Konfiguration: Llama3.1-8B-instruct, 1x H100SXM; Eingang 1.000 Token, Ausgabe 1.000 Token. Gleichzeitige Anfragen: 200. NIM ON: FP8. Durchsatz 6.354 Token/s, TTFT 0,4s, ITL: 31 ms. NIM OFF: FP8. Durchsatz 2.265 Token/s, TTFT 1,1s, ITL: 85 ms

Anpassung

NIM-Microservices an bereichsspezifische Anforderungen anpassen

Optimierung mit NVIDIA NeMo

NVIDIA NeMo™ ist eine End-to-End-Plattform für die Entwicklung von kundenspezifischer generativer KI in allen Bereichen. NVIDIA NeMo umfasst Tools für Training, Anpassung und Retrieval-Augmented Generation (RAG), Guardrailing, Datenkuration und Modell-Vorabtraining und bietet Unternehmen eine einfache, kostengünstige und schnelle Möglichkeit, generative KI zu nutzen.

Technischen Blog lesen

Erste Schritte mit Tutorials

NVIDIA NIMs in Aktion

Kommunizieren Sie mithilfe von NIM mit Ihren Lieferkettendaten

Optimierte Software-Bereitstellung mit ereignisgesteuerter RAG

Immer verfügbare, auf generativer KI basierende Echtzeit-Healthcare-Agenten

Digitale Menschen transformieren Branchen

Generative KI-Microservices für virtuelles Screening

Bezugsquellen

Erste Schritte

Kostenlos Prototyping starten

Erste Schritte mit benutzerfreundlichen, von NVIDIA verwalteten serverlosen APIs.

Greifen Sie auf eine vollständig beschleunigte KI-Infrastruktur zu.
Stellen Sie sicher, dass Ihre Daten nicht für Modellschulungen verwendet werden.
Mit 1.000 Inferenz-Credits können Sie kostenlos loslegen.

Herunterladen und Bereitstellen

Führen Sie NVIDIA NIM aus, um optimierte KI-Modelle in der Cloud oder im Rechenzentrum Ihrer Wahl zu skalieren.

Stellen Sie sicher, dass Daten nie Ihre sichere Enklave verlassen.
Wechseln Sie ohne Änderungen am Programmcode nahtlos von Cloud-Endpunkten zu selbst gehosteten APIs.
Verwenden Sie eine NVIDIA AI Enterprise-Lizenz für die Produktion oder starten Sie kostenlos mit dem NVIDIA-Entwicklerprogramm.

Jetzt erstellen

Anwendungsfälle

Entfachen Sie Innovationen

Erfahren Sie, wie NVIDIA-APIs branchenspezifische Anwendungsfälle unterstützen und Ihre KI-Entwicklung mit kuratierten Beispielen in Fahrt bringen.

Digitale Menschen

Erwecken Sie Spielcharaktere zum Leben oder erstellen Sie interaktive virtuelle Avatare, um den Kundendienst zu verbessern und es Ihrer Anwendung zu ermöglichen, sich besser mit den Nutzern zu verbinden.

Mehr erfahren

Generierung von Inhalten

Generieren Sie hochrelevante, maßgeschneiderte und präzise Inhalte, die auf dem Fachwissen und dem geistigen Eigentum Ihres Unternehmens basieren.

Mehr erfahren

Biomolekulare Generierung

Biomolekulare generative Modelle und die Rechenleistung von Grafikprozessoren erschließen den chemischen Bereich auf effiziente Weise und generieren schnell verschiedene kleine Molekülsätze, die auf bestimmte Wirkstoffziele oder -eigenschaften zugeschnitten sind.

Mehr erfahren

Ökosystem

Bringen Sie Ihre Unternehmens-KI noch schneller voran

Schließen Sie sich führenden Partnern an, um Ihre KI-Anwendungen mit Modellen, Toolkits, Vektordatenbanken,
Frameworks und der Infrastruktur aus unserem Ökosystem zu entwickeln.

Ressourcen

Entfesseln, verbessern und hochskalieren

LaunchPad

Praxiskurse zur Nutzung des vollen Potenzials von KI

Erleben Sie die Leistungsfähigkeit von KI mit End-to-End-Lösungen in geführten Praxiskursen für RAG-basierte Chatbots, Medikamentenentwicklung und Routenoptimierungen.

Zum LaunchPad

Deep Learning Institute

Vertiefen Sie Ihr KI-Wissen

Ob Sie als Einzelperson Schulungen im selbstbestimmten Tempo suchen oder als Unternehmen Ihrer Belegschaft neue Kompetenzen vermitteln möchten – nutzen Sie dazu DLI-Kurse für generative KI, Datenwissenschaft und mehr.

Jetzt mit DLI Ihre Kenntnisse erweitern

AI Workbench

Klein anfangen. Hochskalieren.

NVIDIA AI Workbench bietet Entwicklern die Flexibilität, API-fähige Modelle auf lokalen oder Remote-Containern mit Grafikkarten auszuführen. Dies ermöglicht interaktive Projekt-Workflows von Experimenten über Prototyping bis hin zum Proof of Concept.

Mehr über AI Workbench erfahren

Aktuelles

Neuigkeiten zu NVIDIA NIM

In den aktuellen Pressemitteilungen von NVIDIA erfahren Sie, welchen Einfluss NIM und generative KI auf Branchen, die Partner, Kunden und vieles mehr haben.

Dokumentation

Erkunden Sie die technische Dokumentation, um mit dem Prototyping und der Entwicklung von KI-Anwendungen für Ihr Unternehmen mithilfe von NVIDIA-APIs zu beginnen.

NVIDIA API-Dokumentation NVIDIA NIM – Dokumentation