NVIDIA Omniverse Audio2Face

Beta

Omniverse Audio2Face

Crea istantaneamente un'animazione facciale espressiva da una sola sorgente audio utilizzando l'IA generativa.

Dall’audio all’animazione con facilità grazie all’IA generativa

Omniverse Audio2Face Beta è un’applicazione di riferimento che semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Come funziona

Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice: seleziona la sorgente audio e caricala. L'input audio viene quindi trasmesso a una rete neurale profonda pre-addestrata e l'output genera i vertici 3D del mesh del personaggio per creare l'animazione facciale in tempo reale. È anche possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

App Omniverse Audio2Face
 
Audio2Face genera animazioni dei volti con un input audio.

Input audio

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente.  

Trasferimento di personaggi

Scambio di volto in un istante

Audio2Face consente di eseguire il retargeting di qualsiasi volto umano o 3D, realistico o stilizzato. permettendo di trasferire personaggi (umani o animali) in pochissimo tempo, con pochi clic.

 
Anima qualsiasi volto con Audio2Face
 
Usa più istanze per generare l'animazione dei volti di più personaggi.

Output scalabile

L'espressione senza limiti

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo. Inoltre, puoi aumentare o ridurre il livello di espressione facciale su ciascun volto e produrre in batch più file di animazione da più origini audio.

Controllo delle emozioni

Nel vivo della scena

Audio2Face offre la possibilità di scegliere e animare le emozioni del tuo personaggio in un batter d'occhio. La rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata oppure determina automaticamente le emozioni a partire direttamente dalla clip audio

 
Aggiungi emozioni alla tua animazione.
 
Aggiungi emozioni alla tua animazione.

Conversione dei dati

Connessione e conversione

L'ultimo aggiornamento di Omniverse Audio2Face consente la conversione di blendshape e opzioni di esportazione blendweight. Inoltre, l'app ora supporta l'esportazione/importazione con Blendshapes per Blender ed Epic Games Unreal Engine per generare movimento sui personaggi utilizzando i rispettivi Omniverse Connector.

Vedi Audio2Face in azione

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Misty, il chatbot animato

Presentato alla GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.   

NVIDIA Omniverse mi sta aiutando a raggiungere risultati più naturali per i miei personaggi umani digitali e ad accelerare il mio flusso di lavoro in modo da poter dedicare più tempo al processo creativo.

— Anderson Rohr, Artista 3D

Scopri NVIDIA Omniverse oggi stesso

Trova la licenza giusta per il tuo flusso di lavoro 3D e inizia subito a esplorare Omniverse.

nvidia-omniverse-creators-3c33-D

Autori

Download e creazione gratuiti

Omniverse funge da hub centrale per collegare e migliorare facilmente le applicazioni creative 3D, unificando risorse, librerie e strumenti per un flusso di lavoro davvero ininterrotto che permette agli artisti di raggiungere nuovi livelli di libertà creativa.

Sviluppatori

Sviluppatori

Sviluppo e distribuzione gratuiti

Omniverse è progettato pensando agli sviluppatori e offre loro la possibilità di personalizzare i flussi di lavoro 3D a ogni livello, per creare facilmente nuovi connettori, estensioni, applicazioni e microservizi Omniverse.

nvidia-omniverse-enterprise-3c33-D

Aziende

Prova gratuita I Licenza annuale

Omniverse Enterprise trasforma flussi di lavoro di progettazione complessi per aziende di ogni dimensione. Consente la collaborazione in tempo reale con più utenti e posizioni, impiegando più applicazioni che utilizzano dati di progetto centralizzati.

Come installare Omniverse Audio2Face

Scarica NVIDIA Omniverse

1

Scarica NVIDIA Omniverse ed esegui l'installazione.

Apri il programma di avvio di Omniverse

2

Una volta installato, avvia Omniverse.

Individua Audio2Face nella sezione Apps e fai clic su Install.

3

Individua Omniverse Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Requisiti di sistema
Elemento Specifiche minime Specifiche minime
SO supportati Windows 10 (versione 1903 e successive) Windows 10 (versione 1903 e successive)
CPU Intel Core i5 Serie 10
AMD Ryzen 5 Serie 5
Intel Core i7 Serie 13
AMD Ryzen 7 Serie 7
RAM 16 GB 32 GB
Storage SSD da 250 GB SSD da 500 GB
GPU Qualsiasi GPU RTX con 8 GB GeForce RTX 4070 Ti, NVIDIA RTX A4500 o superiore
Versione minima del driver video Vedi i driver più recenti qui Vedi i driver più recenti qui

Tutorial dettagliati

Scopri altre app Omniverse

Scopri la suite completa di app e connettori NVIDIA Omniverse o prova i nostri consigli sotto.

Code

Un ambiente di sviluppo integrato (IDE) per sviluppatori e utenti esperti per creare facilmente estensioni, app o microservizi Omniverse.

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per gli autori.

USD Composer

Accelera la creazione di mondi avanzati con Pixar USD e assembla, simula ed esegue il rendering di scene in tempo reale.

USD Presenter

Rivedi in modo collaborativo i progetti con un potente strumento di visualizzazione fisicamente accurato e fotorealistico.

Entra a far parte della nostra community

Accedi ai tutorial

Approfitta di centinaia di tutorial, sessioni o corsi di formazione per principianti tutti gratuiti per iniziare con USD

Diventa un Omnivore

Unisciti alla nostra community! Partecipa ai nostri live streaming settimanali su Twitch e interagisci con noi su Discord e nei nostri forum.

Assistenza tecnica

Stai riscontrando problemi? Pubblica le tue domande nei forum per ricevere assistenza rapida dagli esperti di Omniverse o consulta la documentazione della piattaforma

Mostra il tuo lavoro

Ha creato un capolavoro in Omniverse? Invialo alla Omniverse Gallery, dove puoi trovare ispirazione e ispirare gli altri.

Seguici

Ricevi le ultime notizie su NVIDIA Omniverse.