Schnellere, genauere KI-Inferenz

NVIDIA NIM ist eine benutzerfreundliche Software, die konzipiert wurde, um die Bereitstellung von generativer KI in der Cloud, im Rechenzentrum und auf Workstations zu beschleunigen.

Der NVIDIA Triton Inference Server ist eine Open-Source-Inference-Serving-Software, mit der Unternehmen eine maßgeschneiderte KI-Modell-Serving-Infrastruktur konsolidieren, die Zeit für die Bereitstellung neuer KI-Modelle in der Produktion verkürzen und die KI-Inferenz- und Prognosekapazität erhöhen können.

NVIDIA TensorRT bietet geringe Latenz und hohen Durchsatz für Hochleistungs-Inferenz. Es enthält das NVIDIA TensorRT-LLM, eine Open-Source-Bibliothek und eine Python-API für die Definition, Optimierung und Ausführung großer Sprachmodelle (LLMs) für Inferenz, sowie NVIDIA TensorRT Cloud, einen Web-Service für die Generierung einer optimierten TensorRT-Engine für Ihr Modell und Ihre Ziel-Grafikkarte.

Die H100 stellt den nächsten Quantensprung in der Rechenzentrumsplattform für beschleunigte Berechnungen von NVIDIA dar und beschleunigt sicher die unterschiedlichsten Workloads – von Workloads in kleinen Unternehmen bis hin zu Exascale-HPC und KI mit Billionen Parametern in jedem Rechenzentrum. 

Durch die Kombination der Full-Stack-Inference-Serving-Software von NVIDIA mit der L40S-Grafikkarte entsteht eine leistungsstarke Plattform für trainierte Modelle, die bereit für die Inferenz sind. Dank der Unterstützung von Structural Sparsity und einer Vielzahl von Genauigkeiten liefert die L40S eine bis zu 1,7-mal höhere Inferenzleistung als die NVIDIA A100 Tensor Core-Grafikkarte.

Die L4 bietet kostengünstig eine universelle, energieeffiziente Beschleunigung für Video, KI, Visual Computing, Grafik, Virtualisierung und mehr. Die Grafikkarte bietet eine 120-mal höhere KI-Videoleistung als CPU-basierte Lösungen, sodass Unternehmen in Echtzeit Erkenntnisse gewinnen können, um Inhalte zu personalisieren, die Suchrelevanz zu verbessern und vieles mehr.