NVIDIA Omniverse Audio2Face

Beta

Omniverse Audio2Face

Erstellen Sie mit generativer KI sofort ausdrucksstarke Gesichtsanimationen aus einer einzigen Audioquelle.

Einfacher Weg von Audio zur Animation dank Generative AI

Omniverse Audio2Face Beta ist eine Referenzanwendung, die die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks erleichtert, sowohl bei der Animation von Charakteren in Spielen, Filmen, für digitale Echtzeit-Helfer als auch einfach nur zum Spaß. Sie können die App für interaktive Echtzeitanwendungen oder als traditionelles Erstellungstool für Gesichtsanimationen verwenden. Führen Sie die Ergebnisse live aus oder fertigen Sie sie vor, es liegt ganz an Ihnen.

Funktionsweise

Audio2Face ist mit „Digital Mark“ vorinstalliert – einem 3D-Charaktermodell, das mit Ihrer Tonspur animiert werden kann, sodass der Einstieg ganz einfach ist – wählen Sie einfach Ihr Audio aus und laden Sie es hoch. Die Audioeingabe wird dann in ein vorab trainiertes Deep Neural Network eingespeist und die Ausgabe steuert die 3D-Scheitelpunkte Ihres Charaktermeshs, um die Gesichtsanimation in Echtzeit zu erstellen. Sie haben auch die Möglichkeit, verschiedene Nachbearbeitungsparameter zu bearbeiten, um die Leistung Ihres Charakters zu verändern. Die Ergebnisse, die Sie auf dieser Seite sehen, sind meist Rohausgaben von Audio2Face mit wenig bis gar keinen bearbeiteten Nachbearbeitungsparametern.

Omniverse Audio2Face-App
 
Audio2Face generiert Gesichtsanimationen über Audioeingaben.

Audioeingabe

Eine Aufzeichnung verwenden oder Live animieren

Nehmen Sie einfach eine Sprachspur auf, laden Sie sie in die App und sehen Sie, wie Ihr 3D-Gesicht lebendig wird. Sie können sogar Live-Gesichtsanimationen über ein Mikrofon generieren.

Audio2Face ist in der Lage, mit Leichtigkeit jede Sprache zu verarbeiten. Und wir bieten laufend Updates mit immer mehr Sprachen.  

Charakterübertragung

Face Swap im Handumdrehen

Mit Audio2Face können Sie alles zu einem menschlichen oder menschenähnlichen 3D-Gesicht übertragen – egal ob realistisch oder stilisiert.  Dadurch ist das Wechseln von Charakteren – ob menschlicher oder tierischer Gestalt – mit nur wenigen Klicks möglich.

 
Animieren Sie jedes Charaktergesicht mit Audio2Face
 
Generieren Sie mithilfe mehrerer Instanzen eine Gesichtsanimation für mehr als eine Figur.

Ausgabe skalieren

Lassen Sie sich selbst sprechen – oder alle auf einmal

Mit Audio2Face können Sie ganz einfach mehrere Instanzen mit beliebig vielen Figuren in einer Szene ausführen – alle werden über dieselbe oder unterschiedliche Audiospuren animiert. Erwecken Sie den Dialog zwischen einem Duo, den Wettstreit zwischen einem Trio oder einem Quartett zum Leben und genießen Sie den Klang – und noch mehr. Außerdem können Sie die Mimik der einzelnen Gesichter verstärken oder abschwächen und mehrere Animationsdateien aus verschiedenen Audioquellen im Batch ausgeben.

Emotionssteuerung

Jetzt kommt Drama ins Spiel

Audio2Face gibt Ihnen die Möglichkeit, die Emotionen Ihres Charakters im Handumdrehen auszuwählen und zu animieren. Das KI-Netzwerk verändert automatisch Gesicht, Augen, Mund, Zunge und Kopfbewegungen in unterschiedlicher Intensität, damit sie zum ausgewählten emotionalen Bereich passen, oder leitet automatisch Emotionen direkt aus dem Audioclip ab

 
Fügen Sie Ihren Animationen Emotionen hinzu.
 
Fügen Sie Ihren Animationen Emotionen hinzu.

Datenkonvertierung

Verbinden und Konvertieren

Das neueste Update für Omniverse Audio2Face ermöglicht jetzt Blendshape-Konvertierung und auch Blendweight-Exportoptionen. Außerdem unterstützt die App jetzt den Export-Import mit Blendshapes for Blender und Epic Games Unreal Engine, um Bewegung auf Charakteren mit den entsprechenden Omniverse Connectors zu generieren.

Audio2Face in Aktion erleben

Kreaturen und Aliens

Beleben Sie die Gesichtsanimation von Fantasiewesen und Aliens. Hier steuert Digital Mark die Animationen des Aliens.

Misty der animierte Chat-Bot

Misty wurde auf der GTC Spring 2020 vorgestellt und ist ein interaktiver Wetter-Bot, der von Audio2Face in der Laufzeit gesteuert wird. Wir haben das Retargeting von einem realistischen menschlichen Netz zu einem stilisierten Charakternetz demonstriert, das als interaktiver Service-Agent verwendet werden kann.

Omniverse Machinima

Audio2Face wurde während der Einführung der GeForce 30-Serie vorgestellt und ist in der Omniverse Machinima-Demo zu sehen. Gesichtsanimation ist bekanntermaßen komplex und kostenintensiv. Audio2Face automatisiert detaillierte Gesichtsanimationen, um den Prozess der Erstellung von 3D-Inhalten zu demokratisieren.   

NVIDIA Omniverse hilft mir dabei, natürlichere Ergebnisse für meine digitalen Menschen zu erzielen und meinen Workflow zu beschleunigen, sodass ich mehr Zeit für den kreativen Prozess aufwenden kann.

– Anderson Rohr | 3D-Künstler

Erleben Sie NVIDIA Omniverse noch heute

Finden Sie die richtige Lizenz für Ihren 3D-Workflow und beginnen Sie sofort mit der Erkundung von Omniverse.

nvidia-omniverse-creators-3c33-D

Entwickler

Kostenlos herunterladen und erstellen

Omniverse fungiert als zentraler Hub für die nahtlose Verbindung und Verbesserung von kreativen 3D-Anwendungen, wobei Assets, Bibliotheken und Tools vereinheitlicht werden, was einen wirklich unterbrechungsfreien Workflow gewährleistet und es Künstlern ermöglicht, neue kreative Freiheit zu erreichen.

Entwickler

Entwickler

Kostenlos entwickeln und verteilen

Omniverse wurde mit Blick auf Entwickler kreiert und bietet ihnen die Möglichkeit, ihre 3D-Workflows auf jeder Ebene anzupassen, womit sich ganz einfach neue Anschlüsse, Erweiterungen, Anwendungen und Microservices für Omniverse erstellen lassen.

nvidia-omniverse-enterprise-3c33-D

Enterprise

Kostenlose Testversion I Jahreslizenz

Omniverse Enterprise transformiert komplexe Design-Workflows für Organisationen jeder Größenordnung. Es ermöglicht die Zusammenarbeit mit mehreren Benutzern und Standorten in Echtzeit, indem auf verschiedene Anwendungen mit zentralisierten Projektdaten zurückgegriffen wird.

Installation von Omniverse Audio2Face

NVIDIA Omniverse herunterladen

Schritt 1

Laden Sie NVIDIA Omniverse herunter, und führen Sie die Installation aus.

Öffnen Sie den Omniverse-Launcher

Schritt 2

Öffnen Sie nach der Installation den Omniverse Launcher.

Suchen Sie im Abschnitt „Apps“ nach „Audio2Face“ und klicken Sie auf „Install“.

Schritt 3

Suchen Sie im Abschnitt „Apps“ nach „Omniverse Audio2Face“ und klicken Sie auf „Install“ und anschließend auf „Launch“.

Systemanforderungen
Element Mindest-Systemanforderungen Mindest-Systemanforderungen
Unterstütztes Betriebssystem Windows 10 (Version 1903 und höher) Windows 10 (Version 1903 und höher)
CPU Intel Core i5 der 10. Generation
AMD Ryzen 5 der 5. Generation
Intel Core i7 der 13. Generation
AMD Ryzen 7 der 7. Generation
RAM 16 GB 32 GB
Datenspeicher 250 GB-SSD 500 GB-SSD
GPU Beliebiger RTX-Grafikprozessor mit 8 GB GeForce RTX 4070 Ti, NVIDIA RTX A4500 oder höher
Mindestens Videotreiber in der Version Die neuesten Treiber finden Sie hier. Die neuesten Treiber finden Sie hier.

Gehen Sie die Schritt-für-Schritt-Tutorials durch

Entdecken Sie weitere Omniverse-Apps

Entdecken Sie die vollständige Suite der NVIDIA Omniverse-Apps und -Verbindungen oder testen Sie die folgenden Empfehlungen.

Code

Eine integrierte Entwicklungsumgebung, mit der Entwickler und Power-User ihre Erweiterungen, Apps oder Microservices für Omniverse ganz einfach erstellen können.

Machinima

Das Storytelling von Videospielen können Sie mit einem KI-gestützten Toolkit für Ersteller völlig neu mischen, erstellen und definieren.

USD Composer

Beschleunigen Sie fortschrittliches Worldbuilding mit Pixar USD, stellen Sie Szenen in Echtzeit interaktiv zusammen und simulieren und rendern Sie diese.

USD Presenter

Mit diesem leistungsstarken, physikalisch korrekten und fotorealistischen Visualisierungstool können Sie Konstruktionsprojekte im Team überprüfen.

Werden Sie Teil unserer Community

Zugriff auf Tutorials

Nutzen Sie Hunderte kostenloser Tutorials, Sessions oder unser Anfängertraining, um mit USD loszulegen. 

Werden Sie zum Omnivore

Teil unserer Community werden Nehmen Sie an unseren wöchentlichen Livestreams auf Twitch teil und verbinden Sie sich mit uns auf Discord und unseren Foren.

Bitten Sie den technischen Support um Hilfe

Probleme? Stellen Sie Ihre Fragen in den Foren, um sich schnell von Omniverse-Experten beraten zu lassen, oder lesen Sie die Dokumentation für die Plattform.

Zeigen Sie Ihre Projekte

Haben Sie ein Omniverse-Meisterwerk geschaffen? Reichen Sie es in der Omniverse-Galerie ein, in der Sie sich inspirieren lassen und andere inspirieren können.

Verbinden Sie sich mit uns

Bleiben Sie auf dem Laufenden bei den neuesten News von NVIDIA Omniverse.