Finden Sie die richtige Lizenz, um KI für verschiedenste Anwendungen auf sämtlichen Plattformen bereitzustellen, auszuführen und zu skalieren.
Für Einzelpersonen, die für die Entwicklung auf den Open-Source-Code von Triton Inference Server zugreifen möchten
Für Einzelpersonen, die für die Entwicklung auf kostenlose Triton Inference Server-Container zugreifen möchten.
Für Unternehmen, die Triton für Produktionszwecke kaufen möchten.
NVIDIA Triton Inference Server, oder kurz Triton, ist eine Open-Source-Software für Inference Serving. Damit können Teams KI-Modelle aus jedem Framework (TensorFlow, NVIDIA TensorRT™, PyTorch, ONNX, XGBoost, Python, benutzerdefiniert usw.) in jeder GPU- oder CPU-basierten Infrastruktur (Cloud, Rechenzentrum oder Peripherie) bereitstellen, ausführen und skalieren. Weitere Informationen finden Sie auf der Triton webpage.
Der Triton Model Analyzerist ein Offline-Tool zur Optimierung von Inferenzbereitstellungskonfigurationen (Batchgröße, Anzahl der Modellinstanzen usw.) im Hinblick auf Durchsatz, Latenz und/oder Speichereinschränkungen auf dem Ziel-Grafikprozessor oder der Ziel-CPU. Er unterstützt die Analyse einzelner Modelle, von Modell-Ensembles und mehrerer simultaner Modelle.
Triton ist im Lieferumfang von NVIDIA AI Enterprise enthalten, aeiner End-to-End-KI-Softwareplattform mit Support, Sicherheit, Stabilität und Verwaltbarkeit der Enterprise-Klasse. NVIDIA AI Enterprise umfasst Business Standard Support der Zugriff auf die KI-Experten von NVIDIA, Kundenschulungen, Wissensdatenbankressourcen und vieles mehr bietet. Darüber hinaus sind zusätzlicher Enterprise-Support und -Dienste verfügbar, darunter geschäftskritischer Support, ein dedizierter Technical Account Manager, Schulungen und professionelle Services. Weitere Informationen finden Sie im Benutzerhandbuch zu Enterprise-Support und -Diensten..
Ja, es gibt mehrere Labs, die Triton in NVIDIA Launchpad nutzen.
NVIDIA LaunchPadist ein Programm, mit dem Nutzer über einen Webbrowser kurzfristig auf NVIDIA-Hardware und -Software für Unternehmen zugreifen können. Wählen Sie aus einem umfangreichen Katalog an praxisorientierten Labs, um Lösungen für Anwendungsfälle von KI und Datenwissenschaft bis hin zu 3D-Design und Infrastrukturoptimierung kennenzulernen. Unternehmen können in einer privaten gehosteten Infrastruktur sofort auf die erforderlichen Hardware- und Software-Stacks zugreifen.
Ja, Triton ist das bevorzugte Ökosystem für KI-Inferenz und Modellbereitstellung. Triton ist in AWS, Microsoft Azure, and Google Cloud Marketplaces mit NVIDIA AI Enterprise verfügbar. Es ist außerdem verfügbar in: Alibaba Cloud, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), Amazon SageMaker, Google Kubernetes Engine (GKE), Google Vertex AI, HPE Ezmeral, Microsoft Azure Kubernetes Service (AKS), Azure Machine Learning undder Oracle Cloud Infrastructure-Datenwissenschaftsplattform..
SBleiben Sie mit Neuigkeiten zu KI-Inferenzen von NVIDIA immer auf dem Laufenden.
NVIDIA-Datenschutzrichtlinie