A NVIDIA redefiniu a IA para gaming com ACE, dando vida aos personagens de jogo autônomos

O termo 'IA' tem sido usado em jogos por décadas. Esses personagens não jogáveis ​​(NPCs) tradicionalmente seguem regras rígidas projetadas para imitar a inteligência, aderir a uma história guiada e fornecer uma interação com script com o jogador. No entanto, com o surgimento de modelos de linguagem inteligentes, a IA do jogo está preparada para uma revisão verdadeiramente inteligente. 

Na CES 2025, a NVIDIA está redefinindo a IA de jogos com a introdução dos personagens autônomos de jogos NVIDIA ACE.

Lançado pela primeira vez em 2023, o NVIDIA ACE é um conjunto de tecnologias com humanos digitais aceleradas por RTX que dão vida aos personagens dos jogos com IA generativa.

A NVIDIA agora está expandindo o ACE de NPCs conversacionais para personagens de jogo autônomos que usam IA para perceber, planejar e agir como jogadores humanos. Impulsionado por IA generativa, o ACE permitirá mundos de jogo vivos e dinâmicos com companheiros que compreendem e dão suporte aos objetivos do jogador, e inimigos que se adaptam dinamicamente às táticas do jogador.

O que viabiliza esses personagens autônomos são os novos modelos de linguagem pequena (SLMs) do ACE, capazes de planejar em frequências semelhantes às humanas, necessárias para uma tomada de decisão realista, e SLMs multimodais para visão e áudio, que permitem que personagens de IA ouçam sinais de áudio e percebam seu ambiente.

A NVIDIA está fazendo parcerias com os principais desenvolvedores de jogos para incorporar personagens de jogos autônomos ACE em seus títulos. Interaja com jogadores e companheiros de IA semelhantes a humanos em PUBG: BATTLEGROUNDS, inZOI e NARAKA: BLADEPOINT MOBILE PC VERSION. Lute contra chefes com IA em constante aprendizado que se adaptam ao seu estilo de jogo em MIR5. E experimente novas mecânicas de jogo possibilitadas por NPCs com IA em AI People, Dead Meat e ZooPunk.

Vamos começar com um modelo simples de como os humanos tomam decisões.

No centro da tomada de decisão está uma conversa interna consigo mesmo, fazendo repetidamente a mesma pergunta: "O que devo fazer a seguir?"

Para responder bem a essa pergunta, precisamos de alguns dados importantes:

1. Informações do mundo ao nosso redor
2. Nossas motivações e desejos
3. Memórias de eventos e experiências anteriores

Para ilustrar, digamos que você ouve seu telefone tocar - uma percepção externa gerada pelos seus sentidos. Você deve atender?

Você se lembra de que está esperando uma ligação e não quer perdê-la. Suas motivações e memórias se combinam para fornecer tudo o que você precisa para determinar o que fazer em seguida. Isso é cognição.

Você escolhe atender o telefone - a ação e o resultado das suas cognições.

Essas percepções, cognições e ações são frequentemente armazenadas em nossas memórias para serem lembradas em tomadas de decisões posteriores.

Imitar essas características humanas com um sistema de IA tradicional baseado em regras é impossível para um desenvolvedor codificar – o número de cenários potenciais é infinito. Mas com a ajuda da IA ​​generativa e grandes modelos de linguagem treinados em trilhões de frases descrevendo como os humanos reagem ao mundo, podemos começar a simular a tomada de decisões semelhante à humana.

Os personagens de jogos autônomos NVIDIA ACE são alimentados por um conjunto de modelos de IA generativos para percepção, cognição, ação e renderização que permitem aos desenvolvedores criar agentes de IA em jogos que pensam, sentem e agem mais como humanos.

Para que nossos SLMs tomem boas decisões, deve haver um fluxo de alta frequência de dados de percepção fornecidos ao personagem autônomo do jogo. Vários modelos e técnicas são usados ​​para capturar esses dados sensoriais:

• Áudio
  • NemoAudio-4B-Instruct - Um novo SLM de entrada e saída de áudio+texto que é capaz de descrever uma paisagem sonora em um ambiente de jogo
  • Parakeet-CTC-XXL-1.1B-Multilíngue - Transcreve áudio multilíngue para texto
• Visão
  • NemoVision-4B-128k-Instruct - Um novo SLM de entrada e saída de áudio+imagem capaz de compreensão espacial simples
• Estado do jogo
  • Uma das melhores fontes de informação no mundo do jogo é o próprio jogo. O estado do jogo pode ser transcrito em texto para que um SLM possa raciocinar sobre o mundo do jogo

Com base em nossa pesquisa de eSports, a maioria dos jogadores toma cerca de 8 a 13 micro decisões por segundo, chamadas de "submovimentos". Essas podem ser tarefas simples, como corrigir a direção da mira ou decidir quando usar uma habilidade, ou tarefas mais complexas, como decidir começar a reavaliar a estratégia.

Em geral, a tarefa de cognição é muito frequente, o que requer um pequeno modelo de linguagem para executar a tarefa para atender aos requisitos de latência e throughput. ACE SLMs para cognição incluem:

• Mistral-Nemo-Minitron-8B-128k-Instruct - Um modelo de linguagem de última geração que está no topo das paradas em termos de capacidades de seguir instruções, uma competência essencial para personagens de jogos autônomos
• Mistral-Nemo-Minitron-4B-128k-Instruct - Mesmo modelo, só que menor
• Mistral-Nemo-Minitron-2B-128k-Instruct - E ainda menor! Cabe em apenas 1,5 GB de VRAM

Agir vem em muitas formas - de discurso, a ações de jogo, a planejamento de longo prazo. Para executar ações efetivamente, os desenvolvedores podem usar uma combinação de modelos e estratégias:

• Seleção de Ações - Dadas as ações finitas que podem ser tomadas no jogo, o SLM pode escolher a melhor ação apropriada (como em inZOI abaixo)
• Conversão de texto em fala - Ótimos modelos de conversão de texto em fala, como Elevenlabs.io ou Cartesia, podem ser usados ​​para converter uma resposta de texto em uma resposta auditiva
• Planejamento estratégico - Ao processar e raciocinar sobre um grande corpus de dados, esses agentes podem alcançar modelos maiores que podem fornecer uma estratégia de nível mais alto e frequência mais baixa. Frequentemente, essa é uma API LLM de nuvem ou uma série de prompts CoT (Chain-of-Thought) para o SLM
• Reflexão - Uma das ações importantes é refletir sobre os resultados de ações anteriores. “Eu escolhi a coisa certa?” Essa ação pode produzir melhores ações futuras ao longo do tempo e permite que o personagem se autocorrija

A memória é crucial para que Personagens de Jogo Autônomos consigam lembrar de suas percepções, ações e cognições anteriores. Também é útil para rastrear objetivos e motivações de longo prazo que podem ser menos relevantes no contexto imediato. Usando uma técnica chamada Retrieval Augmented Generation (RAG), os desenvolvedores podem usar buscas de similaridade para “lembrar” informações relevantes para o prompt atual:

• E5-Large-Unsupervised - Usando o NVIDIA In-Game Inference SDK , os desenvolvedores podem usar nosso modelo de incorporação otimizado para incorporações dentro do processo do jogo

Usando uma combinação dos modelos e técnicas acima, nossos parceiros criaram as primeiras experiências autônomas de personagens de jogos. Vamos dar uma olhada no futuro.

Os personagens NVIDIA ACE agem como membros autônomos do esquadrão, seguindo ordens, coletando e compartilhando itens e enfrentando inimigos. Eles oferecem sugestões estratégicas ao perceber e entender independentemente eventos dinâmicos que ocorrem ao redor deles e tomam as medidas necessárias para concluir uma ação ou ordem, sem solicitação ou assistência adicional do jogador.

Com o poder da IA, aproveitando tudo o que foi mencionado anteriormente, sua autonomia e capacidades criam encontros de jogo dinâmicos normalmente vivenciados apenas com companheiros humanos.

PUBG: BATTLEGROUNDS é o battle royale que define o gênero, onde os jogadores competem para ser o último a ficar de pé. Apresentando jogabilidade tática intensa, cenários de combate realistas e mapas vastos, PUBG: BATTLEGROUNDS se tornou um fenômeno cultural desde seu lançamento em 2017, e ainda é um dos cinco jogos mais jogados no Steam todos os dias.

Em 2025, a PUBG IP Franchise está introduzindo o Co-Playable Character (CPC) com o PUBG Ally. Construído com NVIDIA ACE, o Ally utiliza o modelo de linguagem pequena Mistral-Nemo-Minitron-8B-128k-instruct que permite que companheiros de equipe de IA se comuniquem usando jargões específicos do jogo, forneçam recomendações estratégicas em tempo real, encontrem e compartilhem itens, dirijam veículos e lutem contra outros jogadores humanos usando o extenso arsenal de armas do jogo.

“PUBG Ally da franquia PUBG IP e Smart Zoi da inZOI, surgindo como o primeiro CPC (Co-Playable Character) do mundo construído com NVIDIA ACE, estão desbloqueando experiências novas e únicas. Na KRAFTON, estamos animados com as possibilidades dos personagens de jogos autônomos ACE e como a IA aprimorará a maneira como criamos jogos.”- Kangwook Lee, Chefe da Divisão de Deep Learning, KRAFTON

Em março de 2025, a NetEase lançará um recurso de inferência local AI Teammate desenvolvido com NVIDIA ACE para NARAKA: BLADEPOINT MOBILE PC VERSION, com NARAKA: BLADEPOINT no PC também adicionando o recurso mais tarde em 2025. NARAKA: BLADEPOINT é um dos 10 jogos mais jogados no Steam a cada semana, e NARAKA: BLADEPOINT MOBILE ostenta milhões de jogadores semanais em telefones, tablets e PCs.

Até 40 jogadores batalham no Battle Royale focado em combate corpo a corpo do NARAKA: BLADEPOINT MOBILE PC VERSION, batalhando em grandes ambientes, usando um conjunto único de habilidades de travessia, habilidades de combate e armas inspiradas no Extremo Oriente, que os jogadores usam para combinar, aparar e enfrentar inimigos em sua busca pela vitória.

Os companheiros de equipe de IA com tecnologia NVIDIA ACE podem se juntar ao seu grupo, batalhando ao seu lado, encontrando itens específicos que você precisa, trocando equipamentos, oferecendo sugestões de habilidades para desbloquear e fazendo jogadas que ajudarão você a alcançar a vitória.

“A NVIDIA permite que os desenvolvedores de jogos ultrapassem os limites esperados com a tecnologia de IA. O NVIDIA ACE em NARAKA: BLADEPOINT MOBILE PC VERSION nos permite criar personagens autônomos de IA que nos permitem criar companheiros de equipe autônomos de IA rodando no dispositivo localmente que naturalmente auxiliam o jogador em suas batalhas épicas.” – Zhipeng Hu, Chefe da Thunder Fire BU, SVP da NetEase corp.

O inZOI da KRAFTON é um dos 10 jogos mais desejados no Steam. O próximo jogo de simulação de vida permite que os jogadores alterem qualquer aspecto do seu mundo de jogo para criar histórias e experiências únicas. Desenvolvido usando o Unreal Engine 5, os gráficos realistas do inZOI permitem que os jogadores visualizem livremente sua imaginação com as ferramentas de criação fáceis de usar do jogo. Personalize a aparência e a roupa do seu personagem e construa a casa dos seus sonhos usando uma ampla seleção de móveis e estruturas livremente móveis.

Construído com NVIDIA ACE, inZOI apresenta Smart Zoi, personagens co-playables ​​(CPC) que são mais reativos e realistas do que qualquer coisa que você já viu antes. Os jogadores experimentarão uma simulação de comunidade abrangente, onde cada ZOI na cidade age de forma autônoma, impulsionada por seus objetivos de vida e reagindo a seus ambientes e aos eventos que acontecem ao seu redor, levando a níveis mais profundos de imersão e situações sociais complexas.

Por meio de uma comparação convincente de cenários pré-LM (Modelo de Linguagem) e pós-LM, o vídeo abaixo demonstra o profundo impacto da tecnologia LM de ponta no dispositivo nas interações e comportamentos dos personagens no inZOI.

Os personagens NVIDIA ACE também podem atuar como antagonistas em jogos single-player, cooperativos e multiplayer.

Ao contrário dos chefes convencionais com script, você pode lutar contra inimigos que aprendem continuamente com o comportamento e as ações do jogador, contrariando suas estratégias, habilidades e magias mais usadas, forçando você a se adaptar. Lute contra chefes com ataques de ajuste dinâmico, exigindo que você aumente o nível de suas habilidades IRL em vez de simplesmente memorizar padrões de ataque. E entre em mundos multijogador massivos com facções inimigas persistentes que se adaptam às táticas do jogador. As possibilidades são infinitas e, com IA dinâmica, nenhuma luta deve ser igual, tornando a jogabilidade mais emocionante e envolvente.

O MIR5 da Wemade Next, a mais recente parcela da imensamente popular franquia Legend of Mir, usará NVIDIA ACE para potencializar os encontros com chefes. Com as tecnologias ACE, os chefes aprenderão com encontros anteriores contra jogadores, adaptando-se a táticas, habilidades e equipamentos usados ​​pelos jogadores no MMORPG.

A IA do MIR5 avaliará o carregamento e a configuração atuais dos humanos que está enfrentando no momento, comparará com encontros passados ​​e decidirá o melhor curso de ação para obter a vitória. Usando tecnologias ACE, as lutas contra chefes são únicas, e voltar para farmar um chefe já derrotado resulta na luta se desenrolando de forma diferente, mantendo os jogadores em alerta e tornando a jogabilidade mais envolvente.

“Juntamente com a NVIDIA, iniciamos uma nova era de jogos com personagens de jogos autônomos NVIDIA ACE. Os chefes de IA do MIR5 são um momento marcante nos jogos, permitindo encontros únicos com chefes a cada sessão de jogo. Estamos animados para ver como essa tecnologia transforma os jogos.“ - Jung Soo Park, CEO, Wemade Next

Usando o NVIDIA ACE, vários desenvolvedores estão criando tipos inteiramente novos de gameplay, onde conversas, confrontos e interações são conduzidos exclusivamente por prompts do jogador e respostas geradas por IA. Esses personagens não são apenas conversacionais, mas agem em jogos, dando aos jogadores novas maneiras imersivas de interagir com o jogo. 

Meaning Machine's Dead Meat é um próximo jogo de mistério de assassinato onde os jogadores podem perguntar aos suspeitos absolutamente qualquer coisa, usando sua voz ou teclado. Quer discutir o álibi do suspeito? Sondá-lo sobre o significado da vida? Confessar seu amor? Suas palavras têm poder, e tudo vale. Persuada-os, manipule-os, ameace-os ou até mesmo encante-os para que revelem seus segredos. A sala de interrogatório é sua caixa de areia, e sua imaginação é o único limite. O que você vai perguntar para chegar à verdade? 

Na CES 2025, Dead Meat foi mostrado rodando em tempo real em uma GPU GeForce RTX Série 50, gerando diálogo localmente pela primeira vez. Anteriormente, o jogo utilizava LLMs na nuvem, mas em parceria com a NVIDIA, a Meaning Machine criou uma versão de Dead Meat que roda localmente "no dispositivo".

Usando o Game Conscious AI™ da Meaning Machine, desenvolvido com o modelo de linguagem pequena (SLM) NVIDIA ACE e NVIDIA Mistral-NeMo-Minitron-8B-128K, o Text To Speech (TTS) da Eleven Labs e o reconhecimento automático de fala (ASR) Whisper da Open AI, a nova versão de Dead Meat oferece a mesma profundidade de caracteres que estava sendo alcançada na nuvem, mas agora o texto do diálogo é gerado localmente, em uma GPU.

Para atingir essa qualidade de diálogo, a Meaning Machine ajustou o modelo de linguagem pequena da NVIDIA, usando seus próprios dados de diálogo, e então integrou esse modelo com seu sistema Game Conscious™. Prepare-se para liberar seu detetive interior ainda este ano, e fique ligado na página do Dead Meat no Steam para a próxima demo.

AI People  é um jogo sandbox exclusivo da GoodAI onde os jogadores criam e jogam cenários com NPCs controlados por IA que interagem autonomamente entre si, com o ambiente e com o jogador, criando uma narrativa dinâmica gerada por IA.

Construído com grandes modelos de reconhecimento de linguagem e fala, rodando localmente em uma GPU GeForce RTX ou na nuvem, cada NPC interage autonomamente com o ambiente e os objetos dentro dele. Esses NPCs aprendem, vivenciam emoções, buscam seus objetivos, sonham, falam e criam uma história dinâmica para você viver.

Dê uma olhada nessa nova experiência de jogo no vídeo AI People abaixo:

FIST: Forged In Shadow Torch foi um jogo estilo Metroidvania bem recebido, com DLSS, Reflex e Ray Tracing. Seu desenvolvedor, TiGames, agora revelou ZooPunk, uma demonstração tecnológica para um projeto futuro.

Desenvolvido com NVIDIA ACE, Audio2Face e o primeiro uso de geração de imagens Stable Diffusion no jogo, a demonstração de tecnologia de IA da TiGames conduz os jogadores por conversas e interações em uma cozinha flutuante acima de um mar de nuvens.

Fale com aliados sobre informações coletadas em uma missão e vá até o píer para projetar uma nova nave de guerra que ajudará Rayton em sua guerra contra o Império Mechanoid. Usando a geração de imagens Stable Diffusion hospedada localmente, solicite novas artes de nave e ajuste sua pintura por meio de entradas de Texto para Fala, em vez do ajuste de dezenas de controles deslizantes.

Fique ligado no site da TiGames para saber mais sobre seu próximo projeto.

Além de conduzir personagens de jogos autônomos, os desenvolvedores também estão usando tecnologias ACE para conduzir animação facial e sincronização labial alimentadas por IA em jogos com NVIDIA Audio2Face. Usando o Audio2Face, os desenvolvedores podem facilmente animar personagens que antes apresentavam apenas movimentos labiais básicos. Os dubladores gravam suas falas, então elas são alimentadas no Audio2Face, onde rostos, olhos, línguas e lábios dos personagens são animados adequadamente, economizando tempo e dinheiro consideráveis ​​para os desenvolvedores.

Alien: Rogue Incursion da Survios já está disponível para PCVR e PSVR2 com tecnologia NVIDIA Audio2Face. Um jogo de ação e terror em Realidade Virtual, Alien: Rogue Incursion apresenta uma história original que mergulha completamente os jogadores nos terrores do universo Alien. Este trabalho de amor foi criado por fãs de Alien para fãs de Alien.

Durante a jornada de sobrevivência dos jogadores, eles encontrarão alguns sobreviventes humanoides, todos equipados com Audio2Face, gerando animações faciais realistas baseadas em diálogos gravados por dubladores.

World of Jade Dynasty da Perfect World Games é um RPG online multiplayer massivo baseado na Unreal Engine 5, e sequência do incrivelmente popular Jade Dynasty do desenvolvedor. No jogo, você pode experimentar a emoção de batalhas massivas de 100 jogadores, a excitação da exploração de masmorras e a liberdade de voar pelas nuvens em sua espada. Não importa se você gosta de PVP, PVE ou PVX, há um caminho único para a imortalidade esperando por você.

Um novo vídeo demonstra o progresso do desenvolvedor em adicionar NVIDIA Audio2Face a um grande elenco de personagens em chinês e inglês, e vai aos bastidores para mostrar como as animações são ajustadas dinamicamente com base em diferentes variáveis ​​detectadas na dublagem gravada. E se forem necessários ajustes, os desenvolvedores podem, é claro, mergulhar e fazer ajustes conforme acharem adequado, adaptando o diálogo para cenas específicas.

Com IA generativa, os jogadores experimentarão novas formas de jogo que levarão os jogos para o próximo nível. Os principais desenvolvedores de jogos já estão começando a mostrar o estado do possível com títulos de destaque como PUBG: BATTLEGROUNDS, inZOI, MIR5 e NARAKA: BLADEPOINT MOBILE PC VERSION. Esses exemplos são apenas a ponta do iceberg - fique ligado para um emocionante 2025.

Saiba mais sobre o NVIDIA ACE, desenvolvimentos futuros e programas de acesso antecipado. Além disso, não deixe de conferir todos os nossos outros anúncios da GeForce RTX Série 50 para ver como estamos aprimorando ainda mais suas experiências em jogos e aplicações, e entregando novas inovações que avançam a indústria de PCs.