NVIDIA y sus desarrolladores son pioneros en personajes digitales realistas para juegos y aplicaciones con NVIDIA ACE

NVIDIA ACE (Avatar Cloud Engine) es un conjunto de tecnologías que ayuda a los desarrolladores a dar vida a los avatares digitales mediante IA generativa. Con ACE, los personajes no jugables (NPC) genéricos se pueden convertir en personajes dinámicos e interactivos capaces de entablar una conversación o proporcionar conocimientos del juego para ayudar a los jugadores en sus misiones.

En CES 2024 anunciamos la disponibilidad de los microservicios de producción ACE para NVIDIA Audio2Face (A2F) y el reconocimiento automático de voz (ASR) NVIDIA Riva, y que los principales desarrolladores de avatares digitales están adoptando NVIDIA ACE.

También lanzamos la última versión de la demostración de Kairos en colaboración con Convai, para mostrar cómo los NPC con IA de próxima generación revolucionarán los juegos. Convai es una plataforma para desarrolladores de NPC que facilita a los desarrolladores permitir que los personajes en mundos 3D tengan habilidades de conversación, percepción y acción similares a las humanas.

Con ACE, los desarrolladores de middleware, herramientas y juegos pueden tomar modelos de IA de última generación, como A2F y Riva ASR, e implementarlos en su solución de avatar digital para juegos y aplicaciones.

Riva ASR permite al jugador hablar con el personaje de IA a través de un micrófono en lugar de escribirle. El objetivo del modelo ASR es permitir al jugador hablar de forma informal y natural, permitiendo una conversación inmersiva y dinámica.

Audio2Face crea animaciones faciales expresivas para los personajes del juego a partir de solo una fuente de audio, como un modelo de conversión de texto a voz. A2F se utiliza tanto para la generación de expresiones faciales y sincronización de labios en tiempo real como para la creación fuera de línea de actuaciones faciales. El tiempo real se convierte en un requisito difícil para los NPC de IA debido a la naturaleza no determinista de las líneas vocales del NPC. Además del diálogo de IA de forma libre, los desarrolladores necesitan modelos como A2F para generar actuaciones faciales realistas.

Los principales desarrolladores de juegos y avatares interactivos son pioneros en cómo ACE y las tecnologías de IA generativa pueden transformar las interacciones entre jugadores y personajes. Además de Convai, otros desarrolladores que adoptan ACE incluyen Charisma.AI, Inworld, miHoYo, NetEase Games, OurPalm, Tencent, Ubisoft, y UneeQ.

"Los personajes generativos impulsados por IA en mundos virtuales desbloquean diversos casos de uso y experiencias que antes eran imposibles", dijo Purnendu Mukherjee, fundador y director ejecutivo de Convai. "Convai está aprovechando Riva ASR y A2F para permitir NPC realistas con tiempos de respuesta de baja latencia y animación natural de alta fidelidad".

"Este es un momento histórico para la IA en los juegos", dijo Tencent Games. “NVIDIA ACE y Tencent Games ayudarán a sentar las bases que traerán avatares digitales con personalidades e interacciones individuales y realistas a los videojuegos”.

“Durante años, NVIDIA ha sido el flautista de las tecnologías de juegos, ofreciendo formas nuevas e innovadoras de crear juegos. NVIDIA está haciendo que los juegos sean más inteligentes y jugables mediante la adopción de tecnologías de IA para juegos, lo que en última instancia crea una experiencia más inmersiva”. - Zhipeng Hu, vicepresidente senior de NetEase y director del grupo empresarial LeiHuo.

Las conversaciones abiertas con los NPC abren un mundo de posibilidades de interactividad en los juegos. Sin embargo, la conversación debería tener consecuencias que podrían conducir a posibles acciones. Para llevar a cabo acciones de los NPC, estos deben ser conscientes del mundo que los rodea y poder interactuar dinámicamente. Con nuestro socio Convai y sus últimos lanzamientos, llevamos nuestra demostración colaborativa al siguiente nivel, habilitando estos NPC de IA con las siguientes características nuevas:

• Conciencia espacial: permite a los personajes del juego identificar e interactuar con objetos y entablar conversaciones sobre su entorno. Por ejemplo, el jugador puede señalar objetos y el personaje hablará sobre ellos de forma inteligente.
• Acciones: permite que los personajes del juego interactúen con elementos del mundo del juego según la conversación. Por ejemplo, entregar una botella de sake cuando se le solicite.
• Interacción de NPC a NPC: permite que los personajes del juego interactúen entre sí, dando vida al mundo incluso cuando el jugador está inactivo.

Además, Convai ha integrado los nuevos microservicios NVIDIA ACE: Audio2Face y Riva ASR. Con la incorporación de los nuevos microservicios ACE en la cartera de Convai, los personajes del juego tendrán una sincronización labial mejorada, una mejor expresión y una detección precisa del habla al escuchar al jugador.

Echemos un vistazo a la nueva demostración de Kairos.

Las tecnologías de IA generativa transformarán los juegos, permitiendo a los NPC tener interacciones significativas con los jugadores más allá del guión pregrabado. Tus acciones podrían influir en las respuestas de los civiles y los personajes clave, y obtendrás una interacción única en lugar de una respuesta escrita.

NVIDIA está a la vanguardia de la IA generativa para todas las industrias, y en CES 2024, NVIDIA anunció las GPUs para desktop GeForce RTX SUPER para un rendimiento de IA generativa sobrealimentado, nuevas laptops con IA de todos los principales fabricantes y nuevas herramientas y software de IA acelerada por NVIDIA RTX para ambos desarrolladores. y consumidores, cuyos detalles completos puede encontrar aquí.

Suscríbase para obtener más información sobre NVIDIA ACE, desarrollos futuros y programas de acceso temprano. Y descubra más usos de la tecnología NVIDIA RTX y las GPU GeForce RTX en los juegos más recientes visitando GeForce.com.