Inizia con NVIDIA Triton

Trova la licenza giusta per distribuire, eseguire e scalare l'IA per qualsiasi applicazione su qualsiasi piattaforma.

Opzioni di licenza NVIDIA Triton

	GitHub Per gli utenti che desiderano accedere al codice open-source di Triton Inference Server per lo sviluppo	NVIDIA NGC Per gli utenti che desiderano accedere ai container Triton Inference Server gratuiti per lo sviluppo.	NVIDIA AI Enterprise Per le aziende che desiderano acquistare Triton per la produzione.
Caratteristiche	Codice di accesso	Ottieni il container	Contatti commerciali
NVIDIA Triton™ Inference Server
Build personalizzate (Windows, NVIDIA® Jetson™), PyTriton
Container Docker precompilato (a seconda della versione: CUDA®, framework backend)
Triton Management Service (orchestrazione dei modelli per distribuzioni su larga scala)
Flussi di lavoro IA e architetture di riferimento per casi d'uso IA comuni
Funzionalità di gestione dei carichi di lavoro e dell'infrastruttura
Supporto standard aziendale, che include: Richieste di assistenza tecnica illimitate tramite portale clienti e telefono 24 ore su 24, 7 giorni su 7 Supporto per escalation durante l'orario di lavoro locale del cliente (9:00-17:00, lunedì-venerdì) Risoluzione tempestiva fornita da esperti e ingegneri NVIDIA Correzioni e notifiche di sicurezza prioritarie Gruppi di produzione che garantiscono la stabilità delle API Tre anni di supporto a lungo termine
Laboratori pratici NVIDIA LaunchPad			Prova ora
	Codice di accesso	Ottieni il container	Contatti commerciali

FAQs

NVIDIA Triton Inference Server, o Triton, è un software di inferenza open-source. Consente ai team di distribuire, eseguire e scalare modelli IA da qualsiasi framework (TensorFlow, NVIDIA TensorRT™, PyTorch, ONNX, XGBoost, Python personalizzato e non solo) su qualsiasi infrastruttura basata su GPU o CPU (cloud, data center o Edge). Per maggiori informazioni, visitate Pagina web di Triton.

Triton Model Analyzer è uno strumento offline per ottimizzare le configurazioni di distribuzione dell'inferenza (dimensioni del batch, numero di istanze del modello, ecc.) migliorare il throughput, la latenza e/o i vincoli di memoria sulla GPU o CPU di destinazione. Supporta l'analisi di un singolo modello, insiemi di modelli e più modelli simultanei.

Triton è incluso con NVIDIA AI Enterprise, una piattaforma software IA completa con supporto, sicurezza, stabilità e gestibilità di livello aziendale. NVIDIA AI Enterprise include Supporto aziendale standard che offre l'accesso agli esperti di NVIDIA AI, alla formazione, alle risorse della knowledge base e altro ancora. Sono inoltre disponibili ulteriori servizi e supporto aziendali, tra cui supporto business-critical, account manager tecnico dedicato, formazione e servizi professionali. Per maggiori informazioni, visita la guida ai servizi e al supporto aziendale.

Sì, esistono diversi laboratori che utilizzano Triton in NVIDIA Launchpad.

NVIDIA LaunchPad è un programma che fornisce l'accesso a breve termine all'hardware e al software NVIDIA Enterprise tramite un browser web. Scegli da un ampio catalogo di laboratori pratici per sperimentare le soluzioni in vari casi d'uso, dall'IA alla scienza dei dati, fino alla progettazione 3D e all'ottimizzazione dell'infrastruttura. Le aziende possono attingere immediatamente agli stack hardware e software necessari su un'infrastruttura in hosting privata.

Sì, Triton è la scelta migliore per l'ecosistema per l'inferenza con IA e la distribuzione dei modelli. Triton è disponibile nei marketplace AWS, Microsoft Azure e Google Cloud con NVIDIA AI Enterprise. È inoltre disponibile in Alibaba Cloud, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), Amazon SageMaker, Google Kubernetes Engine (GKE), Google Vertex AI, HPE Ezmeral, Microsoft Azure Kubernetes Service (AKS), Azure Machine Learning e Oracle Cloud Infrastructure Data Science Platform.