Trova la licenza giusta per distribuire, eseguire e scalare l'IA per qualsiasi applicazione su qualsiasi piattaforma.
Per gli utenti che desiderano accedere al codice open-source di Triton Inference Server per lo sviluppo
Per gli utenti che desiderano accedere ai container Triton Inference Server gratuiti per lo sviluppo.
Per le aziende che desiderano acquistare Triton per la produzione.
NVIDIA Triton Inference Server, o Triton, è un software di inferenza open-source. Consente ai team di distribuire, eseguire e scalare modelli IA da qualsiasi framework (TensorFlow, NVIDIA TensorRT™, PyTorch, ONNX, XGBoost, Python personalizzato e non solo) su qualsiasi infrastruttura basata su GPU o CPU (cloud, data center o Edge). Per maggiori informazioni, visitate Pagina web di Triton.
Triton Model Analyzer è uno strumento offline per ottimizzare le configurazioni di distribuzione dell'inferenza (dimensioni del batch, numero di istanze del modello, ecc.) migliorare il throughput, la latenza e/o i vincoli di memoria sulla GPU o CPU di destinazione. Supporta l'analisi di un singolo modello, insiemi di modelli e più modelli simultanei.
Triton è incluso con NVIDIA AI Enterprise, una piattaforma software IA completa con supporto, sicurezza, stabilità e gestibilità di livello aziendale. NVIDIA AI Enterprise include Supporto aziendale standard che offre l'accesso agli esperti di NVIDIA AI, alla formazione, alle risorse della knowledge base e altro ancora. Sono inoltre disponibili ulteriori servizi e supporto aziendali, tra cui supporto business-critical, account manager tecnico dedicato, formazione e servizi professionali. Per maggiori informazioni, visita la guida ai servizi e al supporto aziendale.
Sì, esistono diversi laboratori che utilizzano Triton in NVIDIA Launchpad.
NVIDIA LaunchPad è un programma che fornisce l'accesso a breve termine all'hardware e al software NVIDIA Enterprise tramite un browser web. Scegli da un ampio catalogo di laboratori pratici per sperimentare le soluzioni in vari casi d'uso, dall'IA alla scienza dei dati, fino alla progettazione 3D e all'ottimizzazione dell'infrastruttura. Le aziende possono attingere immediatamente agli stack hardware e software necessari su un'infrastruttura in hosting privata.
Sì, Triton è la scelta migliore per l'ecosistema per l'inferenza con IA e la distribuzione dei modelli. Triton è disponibile nei marketplace AWS, Microsoft Azure e Google Cloud con NVIDIA AI Enterprise. È inoltre disponibile in Alibaba Cloud, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), Amazon SageMaker, Google Kubernetes Engine (GKE), Google Vertex AI, HPE Ezmeral, Microsoft Azure Kubernetes Service (AKS), Azure Machine Learning e Oracle Cloud Infrastructure Data Science Platform.
Resta aggiornato sulle novità sull'inferenza con IA di NVIDIA.
Informativa sulla privacy NVIDIA