A NVIDIA & os Desenvolvedores são os pioneiros em personagens digitais realistas para jogos e aplicações com NVIDIA ACE

NVIDIA ACE (Avatar Cloud Engine) é um conjunto de tecnologias que ajuda os desenvolvedores a dar vida a avatares digitais usando IA generativa. Com o ACE, personagens genéricos não jogáveis (NPCs) podem ser transformados em personagens dinâmicos e interativos capazes de iniciar uma conversa ou fornecer conhecimento do jogo para ajudar os jogadores em suas missões.

Na CES 2024, estamos anunciando a disponibilidade de microsserviços de produção ACE para NVIDIA Audio2Face (A2F) e NVIDIA Riva Automatic Speech Recognition (ASR), e que os principais desenvolvedores de avatares digitais estão adotando o NVIDIA ACE.

Também lançamos a versão mais recente da Demonstração Kairos em colaboração com Convai, para mostrar como os NPCs de IA de próxima geração revolucionarão os jogos. Convai é uma plataforma de desenvolvimento NPC que torna mais fácil para os desenvolvedores permitir que personagens em mundos 3D tenham habilidades de conversa, percepção e ação semelhantes às humanas.

Com o ACE, os desenvolvedores de middleware, ferramentas e jogos podem usar modelos de IA de última geração, como A2F e Riva ASR, e implementá-los em sua solução de avatar digital para jogos e aplicações.

Riva ASR permite que o jogador fale com o personagem de IA através de um microfone em vez de digitar nele. O objetivo do modelo ASR é permitir que o jogador fale de forma casual e natural, possibilitando uma conversa imersiva e dinâmica.

O Audio2Face cria animação facial expressiva para personagens de jogos a partir de apenas uma fonte de áudio, como um modelo de conversão de texto em fala. O A2F é usado tanto para expressão facial em tempo real e geração de sincronização labial quanto para criação offline de performances faciais. O tempo real se torna um requisito difícil para NPCs de IA por causa da natureza não determinista das linhas vocais do NPC. Junto com o diálogo de IA de forma livre, os desenvolvedores precisam de modelos como A2F para gerar performances faciais realistas.

Os principais desenvolvedores de avatares e jogos interativos são pioneiros em como as tecnologias ACE e de IA generativa podem transformar as interações entre jogadores e personagens. Além do Convai, aqui estão outros desenvolvedores que adotaram o ACE: Charisma.AI, Inworld, miHoYo, NetEase Games, OurPalm, Tencent, Ubisoft, e UneeQ.

"Personagens generativos alimentados por IA em mundos virtuais desbloqueiam vários casos de uso e experiências que antes eram impossíveis", disse Purnendu Mukherjee, fundador e CEO da Convai. "A Convai está aproveitando Riva ASR e A2F para habilitar NPCs realistas com tempos de resposta de baixa latência e animação natural de alta fidelidade."

"Este é um momento marcante para a IA nos jogos", disse a Tencent Games. "A NVIDIA ACE e a Tencent Games ajudarão a estabelecer as bases que trarão avatares digitais com personalidades e interações individuais e realistas para os videogames."

"Por anos, a NVIDIA tem sido a Pied-piper das tecnologias de jogos, oferecendo maneiras novas e inovadoras de criar jogos. A NVIDIA está tornando os jogos mais inteligentes e jogáveis por meio da adoção de tecnologias de IA para jogos, o que, em última análise, cria uma experiência mais imersiva." - Zhipeng Hu, vice-presidente sênior da NetEase e chefe do grupo de negócios LeiHuo

Conversas abertas com NPCs abrem um mundo de possibilidades de interatividade nos jogos. No entanto, a conversa deve ter consequências que podem levar a possíveis ações. Para realizar ações a partir de NPCs, eles precisam estar cientes do mundo ao seu redor e ser capazes de interagir dinamicamente. Com nosso parceiro Convai e seus últimos lançamentos, levamos nossa demonstração colaborativa para o próximo nível, habilitando esses NPCs de IA com os seguintes novos recursos:

• Consciência Espacial - permite que os personagens do jogo identifiquem e interajam com objetos e participem de conversas sobre seus arredores. Por exemplo, o jogador pode apontar para itens, e o personagem falará sobre o item de forma inteligente.
• Ações - permitem que os personagens do jogo interajam com itens no mundo do jogo com base na conversa. Por exemplo, entregar uma garrafa de saquê quando solicitado.
• NPC-to-NPC Interaction - permite que os personagens do jogo interajam uns com os outros, trazendo o mundo vivo mesmo quando o jogador está ocioso.

Além disso, a Convai integrou os novos microsserviços NVIDIA ACE: Audio2Face e Riva ASR. Com a adição dos novos microsserviços ACE no pipeline da Convai, os personagens do jogo terão sincronização labial aprimorada, melhor expressão e detecção de fala precisa ao ouvir o jogador.

Vamos dar uma olhada na nova demonstração do Kairos.

As tecnologias de IA generativa transformarão os jogos, permitindo que os NPCs tenham interações significativas com os jogadores além do script pré-gravado. Suas ações podem influenciar as respostas de civis e personagens-chave, e você terá uma interação única em vez de uma resposta roteirizada.

A NVIDIA está na vanguarda da IA generativa para todos os setores, e na CES 2024 a NVIDIA anunciou GPUs de desktop GeForce RTX SUPER para desempenho de IA generativa turbinada, novos notebooks de IA de todos os principais fabricantes e novos softwares e ferramentas de IA acelerada pela NVIDIA RTX para desenvolvedores e consumidores, detalhes completos sobre os quais você pode encontrar aqui.

Inscreva-se para saber mais sobre o NVIDIA ACE, desenvolvimentos futuros e programas de acesso antecipado. E descubra mais usos da tecnologia NVIDIA RTX e GPUs GeForce RTX nos jogos mais recentes, indo para GeForce.com