Panoramica

Che cosa è l'inferenza IA?

L’inferenza IA è il punto in cui i modelli di IA pre-addestrati vengono implementati per generare nuovi dati e dove l’IA fornisce risultati, alimentando l’innovazione in ogni settore. I modelli di intelligenza artificiale si stanno rapidamente espandendo in termini di dimensioni, complessità e diversità, oltrepassando i confini di ciò che è possibile. Per un uso efficace dell’inferenza IA, le organizzazioni hanno bisogno di un approccio full-stack che supporti il ciclo di vita dell’IA end-to-end e strumenti che consentano ai team di raggiungere i loro obiettivi.

Implementare l'IA generativa in produzione

Esplora le considerazioni chiave per la distribuzione e la scalabilità dell'IA generativa in produzione, incluso il ruolo critico dell'inferenza dell'IA.

Vantaggi

Scopri i vantaggi di NVIDIA AI per l'inferenza accelerata

Standardizzare la distribuzione

Standardizzazione della distribuzione dei modelli su applicazioni, framework IA, architetture di modelli e piattaforme.

Integrazione e scalabilità con facilità

Integrazione semplice con strumenti e piattaforme su cloud pubblici, nei data center locali e sui sistemi periferici.

Costi più bassi.

Throughput e utilizzo elevato dell'infrastruttura IA per ridurre i costi.

Alte prestazioni

Sperimenta prestazioni leader del settore con la piattaforma che ha costantemente stabilito diversi record in MLPerf

, il principale benchmark del settore per l'IA.

Software

Scopri il nostro software di inferenza IA

NVIDIA AI Enterpriseè composta da NVIDIA NIM™, NVIDIA Triton™ Inference Server, NVIDIA® TensorRT™ e altri strumenti per semplificare la creazione, la condivisione e la distribuzione di applicazioni di IA. Con supporto, stabilità, gestibilità e sicurezza di livello enterprise, le aziende possono accelerare il time to value eliminando i tempi di inattività non pianificati.

Il percorso più veloce verso l'inferenza di IA generativa

NVIDIA NIM è un set di microservizi di facile utilizzo progettati per l'implementazione sicura e affidabile di inferenze di modelli di IA ad alte prestazioni su cloud, data center e workstation.

Server di inferenza unificato per tutti i carichi di lavoro IA

NVIDIA Triton Inference Server è un software open source per l’inferenza che aiuta le aziende a consolidare l’infrastruttura di servizio di modelli di intelligenza artificiale su misura, a ridurre il tempo necessario per implementare nuovi modelli di intelligenza artificiale in produzione e ad aumentare la capacità di inferenza e previsione dell’IA.

Un SDK per l'ottimizzazione dell'inferenza e del tempo di esecuzione

NVIDIA TensorRT include un tempo di esecuzione di inferenza e ottimizzazioni del modello che offrono bassa latenza e un elevato throughput per le applicazioni di produzione. L'ecosistema TensorRT include TensorRT, TensorRT-LLM, TensorRT Model Optimizer e TensorRT Cloud.

Hardware

Scopri la nostra infrastruttura di inferenza IA

Ottieni prestazioni di intelligenza artificiale senza pari con il software di inferenza NVIDIA AI ottimizzato per l'infrastruttura accelerata da NVIDIA. Le tecnologie NVIDIA H200, L40S e NVIDIA RTX™ offrono velocità ed efficienza eccezionali per i carichi di lavoro di inferenza IA in data center, cloud e workstation.

GPU NVIDIA H200 Tensor Core

La GPU NVIDIA H200 Tensor Core potenzia i carichi di lavoro generativi di IA e di calcolo ad alte prestazioni (HPC) con prestazioni e capacità di memoria rivoluzionarie. Come prima GPU con HBM3e, la memoria più grande e veloce dell’H200 alimenta l’accelerazione dell’IA generativa e dei modelli di linguaggio di grandi dimensioni (LLM), mentre fa progredire il calcolo scientifico per i carichi di lavoro HPC.

GPU NVIDIA L40S

La combinazione del software di inferenza NVIDIA full stack con la GPU L40S offre una potente piattaforma per modelli addestrati pronti per l'inferenza. Grazie al supporto per la scarsità strutturale e un'ampia gamma di precisioni, la L40S offre prestazioni di inferenza fino a 1,7 volte superiori a quelle della GPU NVIDIA A100 Tensor Core.

Tecnologia NVIDIA RTX

La tecnologia NVIDIA RTX porta l'intelligenza artificiale nel visual computing, accelerando la creatività automatizzando le attività e ottimizzando i processi ad alta intensità di calcolo. Grazie alla potenza dei core CUDA®, RTX migliora il rendering in tempo reale, l'intelligenza artificiale, la grafica e le prestazioni di calcolo.

Scenari di utilizzo

Come viene utilizzata l'inferenza IA

Scopri come NVIDIA AI è in grado di supportare i casi d'uso del settore e avviare lo sviluppo dell'IA con esempi selezionati.

Umani digitali

NVIDIA ACE è una suite di tecnologie che aiutano gli sviluppatori a dare vita agli umani digitali. Diversi microservizi ACE sono NIM NVIDIA, ovvero microservizi ad alte prestazioni e facili da implementare, ottimizzati per funzionare su PC IA NVIDIA RTX o su NVIDIA Graphics Delivery Network (GDN), una rete globale di GPU che fornisce elaborazione umana digitale a bassa latenza in 100 paesi.

Generazione di contenuti

Con l'IA generativa, puoi generare contenuti altamente pertinenti, personalizzati e accurati, basati sull'esperienza di dominio e sulla proprietà intellettuale proprietaria della tua azienda.

Generazione di biomolecole

I modelli generativi biomolecolari e la potenza computazionale delle GPU esplorano in modo efficiente lo spazio chimico, generando rapidamente diversi insiemi di piccole molecole su misura per specifici obiettivi o proprietà dei farmaci.

Rilevamento frodi

Le istituzioni finanziarie devono rilevare e prevenire sofisticate attività fraudolente, come il furto di identità, l'acquisizione di account e il riciclaggio di denaro. Le applicazioni abilitate dall'intelligenza artificiale possono ridurre i falsi positivi nel rilevamento di frodi nelle transazioni, migliorare l'accuratezza della verifica dell'identità per i requisiti di conoscenza del cliente (KYC) e rendere più efficaci gli sforzi antiriciclaggio (AML), migliorando sia l'esperienza del cliente che la salute finanziaria della tua azienda.

Chatbot IA

Le organizzazioni stanno cercando di creare chatbot IA più intelligenti utilizzando la generazione aumentata dal recupero (RAG). Con RAG, i chatbot possono rispondere con precisione a domande relative a domini specifici recuperando informazioni dalla base di conoscenza di un'organizzazione e fornendo risposte in tempo reale in linguaggio naturale. Questi chatbot possono essere utilizzati per migliorare l'assistenza clienti, personalizzare avatar IA, gestire la conoscenza aziendale, semplificare l'assunzione dei dipendenti, fornire supporto IT intelligente, creare contenuti e altro ancora.

Analisi di vulnerabilità della sicurezza

La risoluzione dei problemi di sicurezza dei software sta diventando sempre più difficile poiché il numero di difetti di sicurezza segnalati nel database di vulnerabilità ed esposizioni comuni (CVE) ha raggiunto un livello record nel 2022. Attraverso l'uso dell’IA generativa, è possibile migliorare la difesa dalle vulnerabilità riducendo il carico sui team di sicurezza.

Testimonianze dei clienti

Come i leader del settore stanno guidando l'innovazione con l'inferenza IA

Amdocs

Accelerare le prestazioni dell'IA generativa e ridurre i costi

Leggi come Amdocs ha creato amAIz, una piattaforma di intelligenza artificiale generativa specifica per il dominio per le aziende di telecomunicazioni, utilizzando i microservizi di inferenza NVIDIA DGX™ Cloud e NVIDIA NIM per migliorare la latenza, aumentare la precisione e ridurre i costi.

Snapchat

Migliorare lo shopping con l'IA

Scopri come Snapchat ha migliorato l'esperienza di acquisto di abbigliamento e il riconoscimento ottico dei caratteri con emoji utilizzando Triton Inference Server per scalare, ridurre i costi e accelerare i tempi di produzione.

Amazon

Accelerare la soddisfazione del cliente

Scopri come Amazon ha migliorato la soddisfazione dei clienti accelerando la loro inferenza 5 volte più velocemente con TensorRT.

Risorse

Le ultime novità in risorse di inferenza IA

Inizia a utilizzare l'inferenza su NVIDIA LaunchPad

Hai un progetto IA esistente? Fai domanda per ottenere esperienza pratica di test e prototipazione delle tue soluzioni di IA.

Scopri i percorsi di apprendimento di IA generativa e LLM

Migliora le tue competenze tecniche nell'IA generativa e nei modelli linguistici di grandi dimensioni con i nostri percorsi di apprendimento completi.

Inizia a utilizzare l'inferenza generativa dell'IA su NVIDIA LaunchPad

Accelera gratuitamente il tuo percorso di IA generativa con l'accesso immediato e a breve termine ai microservizi di inferenza NVIDIA NIM e ai modelli di IA.

Implementazione dell'IA generativa in produzione con NVIDIA NIM

Sfrutta il potenziale dell'IA generativa con NVIDIA NIM. Questo video spiega come i microservizi NVIDIA NIM possono trasformare la distribuzione dell'IA in una potenza pronta alla produzione.

5 motivi per cui Triton semplifica l'inferenza

Triton Inference Server semplifica la distribuzione di modelli di intelligenza artificiale su larga scala in ambienti di produzione. Il software open source per l'inferenza consente ai team di distribuire modelli di IA addestrati da qualsiasi framework di storage locale o piattaforma cloud su qualsiasi infrastruttura basata su GPU o CPU.

UneeQ

NVIDIA svela i NIM

Vi siete mai chiesti di cosa sia capace la tecnologia NIM di NVIDIA? Immergiti nel mondo incredibile degli umani e dei robot digitali per scoprire cosa il NIM rende possibile.

Prossimi passi

Vuoi iniziare?

Scopri tutto ciò di cui hai bisogno per iniziare a sviluppare la tua applicazione IA, tra cui la documentazione più recente, i tutorial, i blog tecnici e molto altro.

Contattaci

Parla con uno specialista di prodotto NVIDIA per passare dal progetto pilota alla produzione grazie alla sicurezza, alla stabilità delle API e al supporto di NVIDIA AI Enterprise.

Ottieni le ultime notizie su NVIDIA AI

Iscriviti per ricevere le ultime notizie, gli aggiornamenti e altro da NVIDIA.