KI-Inferenz ist der Vorgang, bei dem vortrainierte KI-Modelle eingesetzt werden, um neue Daten zu generieren, und bei dem eine KI Ergebnisse als Grundlage für Innovationen in jeder Branche liefert. KI-Modelle wachsen rasant im Hinblick auf ihre Größe, Komplexität und Vielfalt und verschieben die Grenzen des Möglichen. Für den erfolgreichen Einsatz von KI-Inferenz benötigen Unternehmen ein umfassendes Konzept, das den End-to-End-KI-Lebenszyklus unterstützt, und Tools, die es Teams ermöglichen, ihre Ziele zu erreichen.
Erste Schritte mit KI-Inferenz
Sehen Sie sich unsere Expertenvortragsreihe über die NVIDIA KI-Inferenzplattform zu den Themen Hardware und Software sowie Vorteile für die Praxis im Bereich Finanzdienstleistungen an.
Informieren Sie sich über die Vorteile von NVIDIA AI für beschleunigte Inferenz
Standardisierte Bereitstellung
Standardisieren Sie die Modellbereitstellung für Anwendungen, KI-Frameworks, Modellarchitekturen und Plattformen.
Integration und Skalierung mit Leichtigkeit
Profitieren Sie von einer einfachen Integration in Tools und Plattformen in Public Clouds, in lokalen Rechenzentren und im Edge-Bereich.
Niedrigere Kosten.
Erzielen Sie hohen Durchsatz und hohe Auslastung der KI-Infrastruktur und senken Sie dadurch die Kosten.
Hohe Leistung
Erleben Sie branchenführende Leistung mit der Plattform, die wiederholt mehrere Rekorde in MLPerf aufgestellt hat
, dem führenden Benchmark für KI in der Branche.
Software
Entdecken Sie unsere KI-Inferenz-Software
NVIDIA AI Enterprise besteht aus NVIDIA NIM™, NVIDIA Triton™ Inference Server, NVIDIA® TensorRT™ und anderen Tools, die das Entwickeln, Freigeben und Bereitstellen von KI-Anwendungen vereinfachen. Mit Unterstützung, Stabilität, Verwaltbarkeit und Sicherheit auf Enterprise-Niveau können Unternehmen die Zeit bis zur Wertschöpfung (Time-to-Value) verkürzen und ungeplante Ausfallzeiten vermeiden.
Der schnellste Weg zur Inferenz mit generativer KI
NVIDIA NIM umfasst eine Reihe von einfach zu nutzenden Microservices, die für die sichere und zuverlässige Bereitstellung von hochleistungsfähigen KI-Modell-Inferenzen in Clouds, Rechenzentren und Workstations entwickelt wurden.
Einheitlicher Inferenzserver für alle Ihre KI-Workloads
NVIDIA Triton Inference Server ist eine Open-Source-Inferenzserver-Software, die Unternehmen dabei unterstützt, die Infrastruktur für das Inferenz-Serving mit maßgeschneiderten KI-Modellen zu konsolidieren, die Zeit für die Bereitstellung neuer KI-Modelle im Produktivbetrieb zu verkürzen und die Kapazität für KI-Inferenz und -Vorhersage zu erhöhen.
NVIDIA TensorRT beinhaltet eine Inferenz-Laufzeitumgebung und Modelloptimierungen, die geringe Latenz und hohen Durchsatz für Produktivanwendungen bieten. Das TensorRT-System umfasst TensorRT, TensorRT-LLM, TensorRT Model Optimizer und TensorRT Cloud.
Eine leistungsstarke serverlose KI-Inferenzlösung, die für beschleunigte KI-Innovationen mit automatischer Skalierung, kosteneffizienter GPU-Auslastung, Multi-Cloud-Flexibilität und nahtloser Skalierbarkeit sorgt.
Lernen Sie unsere KI-Inferenz-Infrastruktur kennen
Mit der für NVIDIA-beschleunigte Infrastrukturen optimierten NVIDIA-AI-Inferenz-Software erhalten Sie unvergleichliche KI-Leistung. NVIDIA H200, L40S und NVIDIA RTX™ bieten außergewöhnliche Schnelligkeit und Effizienz für KI-Inferenz-Workloads in Rechenzentren, Clouds und Workstations.
Plattform NVIDIA Blackwell
Die NVIDIA Blackwell-Architektur schreibt das nächste Kapitel der generativen KI und des beschleunigten Computings mit noch nie dagewesener Leistung, Effizienz und Skalierbarkeit. Blackwell bietet sechs transformative Technologien, die dazu beitragen, Durchbrüche in der Datenverarbeitung, der elektronischen Designautomatisierung, der rechnergestützten Entwicklung und dem Quantencomputing zu erzielen.
Die NVIDIA H200 Tensor Core GPU sorgt mit bahnbrechenden Funktions- und Speichereigenschaften für hervorragende Leistung bei generativer KI und beim High-Performance-Computing (HPC). Als erste GPU mit HBM3e unterstützt der größere und schnellere Speicher der H200 die Beschleunigung von generativer KI und großen Sprachmodellen (LLMs) und gleichzeitig das wissenschaftliche Rechnen für HPC-Workloads.
Die Kombination von NVIDIAs gesamtem Paket an Inferenz-Serving-Software mit der L40S-GPU stellt eine leistungsstarke Plattform für trainierte Modelle dar, die für Inferenz bereit sind. Dank der Unterstützung struktureller Sparsity und einer breiten Auswahl an Genauigkeiten liefert die L40S bis zu 1,7-fache Inferenzleistung der NVIDIA A100 Tensor Core GPU.
NVIDIA RTX Workstations bieten eine hervorragende KI-Inferenz und unterstützen KI-basierte professionelle Workflows mit skalierbaren Lösungen. Diese Workstations eignen sich ideal für die Bereitstellung von KI-Modellen mit kleineren Parametern oder geringeren Genauigkeitsanforderungen und ermöglichen effiziente lokale KI-Inferenz für Arbeitsgruppen oder Abteilungen.
DGX Spark bringt die Leistungsfähigkeit von NVIDIA Grace Blackwell™ auf die Desktops von Entwicklern. Der GB10-Superchip in Kombination mit einem einheitlichen Systemspeicher von 128 GB ermöglicht KI-Forschern, Datenwissenschaftlern und Studierenden, mit KI-Modellen mit bis zu 200 Milliarden Parametern lokal zu arbeiten.
Erfahren Sie, wie NVIDIA AI Enterprise branchenspezifische Anwendungen unterstützt und starten Sie mithilfe ausgewählter Anwendungsbeispiele in Ihrer eigenen KI-Entwicklung und -Bereitstellung durch.
Digitale Menschen
Generierung von Inhalten
Biomolekulare Generierung
Betrugserkennung
KI-Chatbot
Sicherheitsrisiko-Analyse
Digitale Menschen
NVIDIA ACE ist eine Sammlung von Techniken, die Entwicklern helfen, digitale Menschen zum Leben zu erwecken. Mehrere ACE-Microservices sind NVIDIA NIMs – einfach zu implementierende, hochleistungsfähige Microservices, die für die Ausführung mit KI-PCs auf Basis von NVIDIA RTX oder im NVIDIA Graphics Delivery Network (GDN) optimiert sind, einem globalen Netzwerk von GPUs, das die Verarbeitung digitaler Menschen mit geringer Latenz in 100 Ländern bereitstellt.
Mit generativer KI können Sie höchst relevante, maßgeschneiderte und akkurate Inhalte erzeugen, die auf dem Fachwissen und dem geistigen Eigentum Ihres Unternehmens basieren.
Biomolekulare generative Modelle und die Rechenleistung von GPUs durchforsten effizient den Chemical Space und erzeugen schnell verschiedene Sätze kleiner Moleküle, die auf spezifische Wirkstoffziele oder -eigenschaften zugeschnitten sind.
Finanzinstitute müssen ausgefeilte betrügerische Aktivitäten wie Identitätsdiebstahl, Kontoübernahme und Geldwäsche erkennen und verhindern. KI-fähige Anwendungen können Falschalarme bei der Erkennung von Transaktionsbetrug reduzieren, die Genauigkeit der Identitätsüberprüfung zur Erfüllung von KYC-Anforderungen (Know your Customer) verbessern und die Maßnahmen zur Bekämpfung von Geldwäsche (AML) effektiver gestalten, wodurch sowohl das Kundenerlebnis als auch die finanzielle Solidität des Unternehmens verbessert werden.
Unternehmen möchten intelligente KI-Chatbots mithilfe von Retrieval-Augmented Generation (RAG) entwickeln. Mit RAG können Chatbots Fachspezifische Fragen präzise beantworten. Dazu rufen sie Informationen aus der Wissensdatenbank eines Unternehmens ab und stellen Echtzeit-Antworten in natürlicher Sprache bereit. Diese Chatbots können genutzt werden, um den Kundensupport zu verbessern, KI-Avatare zu personalisieren, Unternehmenswissen zu verwalten, das Onboarding von Mitarbeitenden zu optimieren, intelligenten IT-Support zu bieten, Inhalte zu erstellen und vieles mehr.
Angesichts der Anzahl gemeldeter Sicherheitslücken in der CVE-Datenbank (Common Vulnerabilities and Exposures) (dt.: Bekannte Schwachstellen und Anfälligkeiten), die im Jahr 2022 ein Rekordhoch erreicht hat, wird das Patchen von Software-Sicherheitsproblemen zunehmend schwieriger. Mit generativer KI ist es möglich, den Schutz vor Schwachstellen zu verbessern und gleichzeitig die Belastung für Sicherheitsteams zu verringern.
Leistung der generativen KI verstärken und Kosten senken
Lesen Sie, wie Amdocs mit NVIDIA DGX™ Cloud und NVIDIA NIM-Inferenz-Microservices amAIz, eine fachspezifische Generative-KI-Plattform für Telekommunikationsunternehmen, entwickelt hat, um die Latenz zu verbessern, Genauigkeit zu erhöhen und Kosten zu senken.
Erfahren Sie, wie Snapchat das Einkaufserlebnis für Kleidung und die optische Zeichenerkennung auch von Emojis mit Triton Inference Server verbessert hat, um sein Geschäft zu skalieren, Kosten zu reduzieren und die Zeit bis zum Produktivbetrieb zu verkürzen.
Online shopping puts a world of choices at people’s fingertips, making it convenient for them to purchase and receive orders — all from the comfort of their homes.
AI is fueling a new industrial revolution — one driven by AI factories. Unlike traditional data centers, AI factories do more than store and process data — they manufacture intelligence at scale, transforming raw data into real-time insights. For enterprises and countries around the world, this means dramatically faster time to value — turning AI
Read Article
Global telecommunications networks can support millions of user connections per day, generating more than 3,800 terabytes of data per minute on average. That massive, continuous flow of data generated by base stations, routers, switches and data centers — including network traffic information, performance metrics, configuration and topology — is unstructured and complex. Not surprisingly, traditional
Read Article
Haben Sie schon ein KI-Projekt? Bewerben Sie sich, um in einer Umgebung für das Testen und Prototyping Ihrer KI-Lösungen praktische Erfahrungen zu sammeln.
Einstieg in die Inferenz mit generativer KI auf NVIDIA LaunchPad
Kommen Sie durch direkten, kurzfristigen Zugang zu NVIDIA NIM-Inferenz-Microservices und KI-Modellen schneller bei Ihrer Arbeit mit generativer KI voran – kostenlos.
Bereitstellung von generativer KI im Produktivbetrieb mit NVIDIA NIM
Nutzen Sie das Potenzial generativer KI mit NVIDIA NIM. Dieses Video zeigt, wie NVIDIA NIM-Microservices Ihre KI-Implementierung in ein Kraftpaket verwandeln können, das für den Produktivbetrieb bereit ist.
Top-5-Gründe, warum Triton die Inferenz vereinfacht
Triton Inference Server vereinfacht die Bereitstellung von KI-Modellen im großen Maßstab im Produktivbetrieb. Mit Open-Source-Inferenz-Serving-Software können Teams trainierte KI-Modelle aus jedem Framework heraus zu implementieren – ob auf lokaler Speicher- oder Cloud-Plattform – auf jeder GPU- oder CPU-basierten Infrastruktur.
Wollten Sie immer schon einmal wissen, was die NIM-Technologie von NVIDIA alles kann? Vertiefen Sie sich in die Welt der sensationellen „digitalen Menschen“ und Roboter, um zu sehen, was NIMs möglich machen.
Informieren Sie sich über alles, was Sie benötigen, um mit der Entwicklung Ihrer KI-Anwendung zu beginnen, einschließlich der neuesten Dokumentation, Tutorials, technischer Blogs und mehr.
Sprechen Sie mit einem NVIDIA-Produktspezialisten über den Wechsel vom Pilot- zum Produktivbetrieb mit der Sicherheit, API-Stabilität und Unterstützung von NVIDIA AI Enterprise.
Sprechen Sie mit einem NVIDIA-Produktspezialisten über den Wechsel vom Pilot- zum Produktivbetrieb mit der Sicherheit, API-Stabilität und Unterstützung von NVIDIA AI Enterprise.
