NVIDIA Omniverse Audio2Face

Beta

Omniverse Audio2Face

Crea animaciones faciales expresivas al instante a partir de una fuente de audio usando la IA generativa.

Pasa del Audio a la Animación Fácilmente con la IA Generativa

Omniverse Audio2Face beta es una aplicación de referencia que simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz en off, ya sea que estés animando personajes para un juego, una película, asistentes digitales en tiempo real o simplemente por diversión. Puedes utilizar la aplicación para realizar tareas interactivas en tiempo real o como una herramienta de creación de animación facial tradicional. Ejecuta los resultados en vivo o procésalos, depende de ti.

Cómo Funciona

Audio2Face se precarga con "Digital Mark", un modelo de personajes 3D que se puede animar con tu pista de audio, por lo que comenzar a trabajar es sencillo, solo selecciona tu audio y cárgalo. La entrada de audio se envía a una red neuronal profunda previamente entrenada y la salida conduce los vértices 3D de la malla de tu personaje para crear la animación facial en tiempo real. También tiene la opción de editar varios parámetros de posprocesamiento para editar el rendimiento del personaje. Los resultados que ves en esta página son principalmente resultados sin procesar de Audio2Face con pocos o ningún parámetro de posprocesamiento editados.

Aplicación Omniverse Audio2Face
 
Audio2Face genera la animación facial a través de la entrada de audio.

Entrada de Audio

Usa una Grabación o Crea Animación en Vivo

Simplemente graba una pista de audio de voz, ingresa a la aplicación y observa cómo cobra vida tu rostro 3D. Incluso puedes generar animaciones faciales en vivo usando un micrófono.

Audio2Face podrá procesar cualquier idioma fácilmente. Además, continuamente lo actualizamos con más y más idiomas.  

Transferencia de Personajes

Intercambio de Rostros en un Instante

Audio2Face te permite reorientar hacia cualquier rostro humano o humano en 3D, ya sea realista o estilizado.  Esto hace que intercambiar personajes sobre la marcha, ya sean humanos o animales, tome solo unos pocos clics.

 
Anima la cara de cualquier personaje con Audio2Face
 
Usa varias instancias para generar animación facial para más de un personaje

Escalabilidad de Salida

Exprésate a ti Mismo o a Todo el Mundo a la Vez

Es fácil ejecutar varias instancias de Audio2Face con tantos personajes en una escena como desees, todas animadas con la misma o diferentes pistas de audio. Dale vida y sonido al diálogo entre un dúo, una competencia de canto entre un trío, un cuarteto en sincronía y más. Además, puedes bajar o subir el nivel de la expresión facial en cada rostro y generar por lotes varios archivos de animación desde múltiples fuentes de audio.

Control de Emociones

Dale Vida al Drama

Audio2Face te brinda la capacidad de elegir y animar las emociones de tu personaje al instante. La red de IA manipula automáticamente el rostro, los ojos, la boca, la lengua y el movimiento de la cabeza para que coincida con el rango emocional seleccionado y el nivel de intensidad personalizado, o, infiere automáticamente la emoción directamente del clip de audio.

 
Agrega emociones a la animación.
 
Agrega emociones a la animación.

Conversión de Datos

Conecta y Convierte

La última actualización de Omniverse Audio2Face ahora permite la conversión de blendshape y también las opciones de exportación de blendweight. Además, la aplicación ahora admite la importación y exportación con Blendshapes a Blender y Epic Games Unreal Engine para generar movimiento para personajes utilizando sus respectivos conectores Omniverse.

Observa Audio2Face en Acción

Criaturas y Alienígenas

Impulsa la animación facial de criaturas y alienígenas fantásticos. Aquí tenemos a Digital Mark impulsando el rendimiento del alienígena.

Misty, el Chatbot Animado

Misty se presentó en GTC spring 2020 y es un bot meteorológico interactivo que está impulsado por Audio2Face en el tiempo de ejecución. Demostramos la reorientación de una malla humana realista a una malla de personaje estilizada para que se use como un agente de servicio interactivo.

Omniverse Machinima

Audio2Face se presentó durante el lanzamiento de la Serie GeForce 30 y se ve en la demostración de Omniverse Machinima. La animación facial es notoriamente compleja y costosa. Audio2Face automatiza la animación facial detallada para democratizar el proceso de creación de contenido 3D.   

NVIDIA Omniverse me está ayudando a lograr resultados más naturales para mis humanos digitales y a acelerar mi workflow para que pueda dedicar más tiempo al proceso creativo.

— Anderson Rohr, Artista 3D

Experimenta NVIDIA Omniverse Hoy

Encuentra la licencia adecuada para tu workflow 3D y comienza a explorar Omniverse de inmediato.

nvidia-omniverse-creators-3c33-D

Creadores

Libertad para Descargar y Crear

Omniverse funciona como un centro para conectar y mejorar a la perfección las aplicaciones creativas 3D, lo que unifica recursos, bibliotecas y herramientas para lograr un workflow verdaderamente ininterrumpido que permite a los artistas alcanzar nuevas alturas de la libertad creativa.

Desarrolladores

Desarrolladores

Libertad para Desarrollar y Distribuir

Omniverse se creó pensando en los desarrolladores y les brinda la capacidad de personalizar sus workflows 3D en cada capa para crear fácilmente nuevos microservicios, aplicaciones, extensiones y Conectores de Omniverse.

nvidia-omniverse-enterprise-3c33-D

Enterprise

Prueba Gratuita I Licencia Anual

Omniverse Enterprise transforma workflows de diseño complejos para organizaciones de cualquier escala. Permite la colaboración en tiempo real con varios usuarios y ubicaciones, mediante diferentes aplicaciones que usan datos de proyectos centralizados.

Cómo Instalar Omniverse Audio2Face

Descarga NVIDIA Omniverse.

Paso 1

Descarga NVIDIA Omniverse y ejecuta la instalación.

Abre el Programa de Ejecución de Omniverse.

Paso 2

Una vez instalado, abre el Programa de Ejecución de Omniverse.

En la sección Aplicaciones, busca Audio2Face y haz clic en Instalar.

Paso 3

En la sección Aplicaciones, Busca Omniverse Audio2Face y haz clic en Instalar, luego en Iniciar.

Requisitos del Sistema
Elemento Especificaciones Mínimas Especificaciones Mínimas
Compatibilidad con SO Windows 10 (versión 1903 y posteriores) Windows 10 (versión 1903 y posteriores)
CPU Intel Core i5 Serie 10
AMD Ryzen 5 Serie 5
Intel Core i7 Serie 13
AMD Ryzen 5 Serie 5
RAM 16 GB 32 GB
Almacenamiento Disco de estado sólido de 250 GB Disco de estado sólido de 500 GB
GPU Cualquier GPU RTX con 8 GB GeForce RTX 4.070 Ti, NVIDIA RTX A4500 o modelos superiores.
Versión de Driver de Video Mínima Consulta los drivers más recientes aquí. Consulta los drivers más recientes aquí.

Conoce los Tutoriales Paso a Paso

Descubre Más Aplicaciones de Omniverse

Descubre el conjunto completo de Conexiones y Aplicaciones de NVIDIA Omniverse, o prueba nuestras recomendaciones a continuación.

Código

Un entorno de desarrollo integrado para desarrolladores y usuarios avanzados que crean fácilmente extensiones, aplicaciones o microservicios de Omniverse.

Machinima

Combina, recrea y redefine la narración de videojuegos con animaciones mediante un conjunto de herramientas impulsadas por IA para los creadores.

USD Composer

Acelera la construcción de mundos avanzados con USD de Pixar, y ensambla, simula y renderiza escenas de forma interactiva en tiempo real.

USD Presenter

Revisa de forma colaborativa proyectos de diseño con esta herramienta de visualización potente, fotorrealista y físicamente precisa.

Forma Parte de Nuestra Comunidad

Acceso a Tutoriales

Aprovecha cientos de tutoriales gratuitos, las sesiones o nuestra capacitación para principiantes para comenzar a usar USD

Empieza a Usar Omniverse

¡Únete a nuestra comunidad! Asiste a nuestras transmisiones en vivo semanales en Twitch y conéctate con nosotros en Discord y nuestros foros.

Obtén Soporte Técnico

¿Tienes problemas? Publica tus preguntas en los foros para obtener una guía rápida de los expertos de Omniverse o consulta la documentación de la plataforma.

Muestra tu Trabajo

¿Creaste una obra maestra en Omniverse? Envíala a la Galería de Omniverse, donde podrás inspirarte e inspirar a los demás.

Mira todas las inspiradoras sesiones de GTC a pedido.

La Conferencia de Desarrolladores para la Era de la IA y el Metaverso

Mira todas las inspiradoras sesiones de GTC a pedido.

La Conferencia de Desarrolladores para la Era de la IA y el Metaverso

Conecta tus mundos creativos a un universo de posibilidades con NVIDIA Omniverse.

  • Omniverse de un Artista: Cómo Construir Mundos Virtuales Fotorreales a Gran Escala

    • Gabriele Leone, Director de Arte Sénior, NVIDIA

    Escucha a los expertos artistas ambientales de NVIDIA y conoce la forma en que 30 artistas construyeron una icónica demostración de múltiples mundos en tres meses. Sumérgete en un workflow con Adobe Substance 3D Painter, Photoshop, Autodesk 3ds Max, Maya, Blender, Modo, Maxon Zbrush, SideFX Houdini y NVIDIA Omniverse Create, y conoce la forma en que los artistas lograron entregar una escena enorme que muestra las últimas tecnologías de física, IA y NVIDIA RTX.

    Ver Detalles >

  • La Próxima Evolución de Universal Scene Description (USD) para Construir Mundos Virtuales

    • Aaron Lok, Gerente Sénior de Ingeniería, Omniverse, NVIDIA

    Universal Scene Description no es solo un formato de archivo. Este framework de composición de mundos abierto, potente y fácilmente extensible tiene API para crear, editar, consultar, renderizar, simular y colaborar dentro de mundos virtuales. NVIDIA continúa invirtiendo para ayudar a evolucionar el USD a fin de lograr workflows más allá de los medios y el entretenimiento, lo que permite el metaverso industrial y la próxima ola de IA. Únete a esta sesión para ver por qué "confiamos plenamente" en USD, nuestra hoja de ruta de desarrollo de USD, y obtén información sobre nuestros proyectos e iniciativas recientes en NVIDIA y con nuestro ecosistema de socios.

    Ver Detalles >

  • Bases del Metaverso: El HTML para Mundos Virtuales 3D

    • Michael Kass, Ingeniero Distinguido Sénior, NVIDIA
    • Rev Lebaredian, VP de Tecnología de Simulación y Omniverse, NVIDIA
    • Guido Quaroni, Director Sénior de Ingeniería de Inmersión y 3D, Adobe
    • Steve May, Vicepresidente, CTO, Pixar
    • Mason Sheffield, Director Sénior de Tecnología Creativa de los Laboratorios de Innovación de Lowe's
    • Natalya Tatarchuk, miembro técnico y arquitecto en jefe, innovación gráfica para el arte & profesional, Unity
    • Matt Sivertson, vicepresidente y arquitecto en jefe, Media & Entertainment, Autodesk
    • Mattias Wikenmalm, experto sénior, Volvo Cars

    Únete a esta sesión para escuchar a un panel de distinguidos líderes técnicos mientras hablan sobre la Descripción de Escenas Universal (USD) como un estándar para la evolución 3D de Internet, el metaverso. Estas mentes hablarán sobre por qué están invirtiendo o adoptando USD y qué avances tecnológicos deben aparecer a continuación para ver su verdadero potencial desbloqueado.

    Ver Detalles >

  • Cómo Desarrollar Recursos 3D en USD Listos para la Simulación

    • Renato Gasoto, Ingeniero de IA y Robótica, NVIDIA 
    • Beau Perschall, Director de Operaciones de Datos de Simulación de Omniverse, NVIDIA

    La próxima ola de industrias e IA requiere que construyamos mundos virtuales físicamente precisos e indistinguibles de la realidad. La creación de mundos virtuales es difícil, y el universo existente de recursos 3D de la actualidad es inadecuado, ya que representa solo la representación visual de un objeto. Ya sea para construir digital twins o mundos virtuales para entrenar y probar vehículos autónomos o robots, los recursos 3D requieren muchas más propiedades técnicas, por lo que es necesario desarrollar y adoptar procesos, técnicas y herramientas nuevos. NVIDIA presenta una nueva clase de recursos 3D llamados recursos de "SimReady", los componentes fundamentales de los mundos virtuales. Los recursos de SimReady son más que solo objetos 3D, ya que abarcan propiedades físicas precisas, comportamiento y flujos de datos conectados basados en Universal Scene Description (USD). Te mostraremos cómo comenzar a usar los recursos de USD de SimReady y presentar las herramientas y técnicas necesarias para desarrollar y probar estos recursos.

    Ver Detalles >

  • Cómo la Computación Espacial Hiperescala

    • Omer Shapira, Ingeniero Sénior, Omniverse, NVIDIA

    Los avances recientes en los procesos de computación han permitido innovaciones en la tecnología centrada en el cuerpo, como la realidad virtual (VR) con ray tracing completo. En simultáneo, los cuellos de botella de la red han disminuido hasta el punto de lograr la transmisión de píxeles directamente desde data centers a HMD. Únete a esta charla para explorar el potencial de la computación centrada en el cuerpo a escala de data center, y las aplicaciones, las experiencias y la nueva ciencia que permite.

    Ver Detalles >

Tres imágenes con diferentes fondos de color gris oscuro a púrpura oscuro. La imagen de la izquierda muestra a un hombre con una remera gris y un cartel dorado que dice

Conéctate con Nosotros

Recibe las últimas noticias sobre NVIDIA Omniverse.