NVIDIA ACE 자율 게임 캐릭터로 게임 AI를 재정의하다

'AI'라는 용어는 수십 년 동안 게임에서 사용되어 왔습니다. 이러한 NPC(Non-playable characters)는 전통적으로 지능을 모방하고, 안내된 스토리를 준수하며, 플레이어와 스크립트 상호 작용을 제공하도록 설계된 엄격한 규칙을 따릅니다. 그러나 지능적인 언어 모델의 등장으로 게임 AI는 진정한 지능적 점검을 위한 준비가 되어 있습니다.

CES 2025에서 NVIDIA는 NVIDIA ACE 자율 게임 캐릭터를 도입하여 게임 AI를 재정의하고 있습니다.

2023년에 처음 소개된 NVIDIA ACE는 생성 AI를 통해 게임 캐릭터에 생명을 불어넣는 RTX 가속 디지털 휴먼 기술 제품군입니다.

NVIDIA는 이제 대화형 NPC에서 AI를 사용하여 인간 플레이어처럼 인식하고 계획하고 행동하는 자율 게임 캐릭터로 ACE를 확장하고 있습니다. 생성형 AI를 기반으로 하는 ACE는 플레이어 목표를 이해하고 지원하는 동료와 플레이어 전술에 동적으로 적응하는 적과 함께 생생하고 역동적인 게임 세계를 구현합니다.

이러한 자율 캐릭터를 가능하게 하는 것은 현실적인 의사 결정에 필요한 인간과 유사한 주파수로 계획을 세울 수 있는 새로운 ACE 소형 언어 모델(SLM)과 AI 캐릭터가 오디오 신호를 듣고 환경을 인식할 수 있도록 하는 비전 및 오디오용 멀티모달 SLM입니다.

NVIDIA는 주요 게임 개발사들과 협력하여 ACE 자율 게임 캐릭터를 타이틀에 통합하고 있습니다. PUBG: BATTLEGROUNDS, inZOI, 그리고 NARAKA: BLADEPOINT MOBILE PC VERSION에서 인간과 같은 AI 플레이어 및 동료와 상호 작용하세요. MIR5에서 자신의 플레이 스타일에 적응하는 끊임없이 학습하는 AI 기반 보스와 맞서 싸우세요. 그리고 AI People, Dead Meat, 그리고 ZooPunk에서 AI 기반 NPC를 통해 가능해진 새로운 게임플레이 메커니즘을 경험해 보세요.

인간이 어떻게 결정을 내리는지에 대한 간단한 모델부터 시작해 보겠습니다.

의사결정의 핵심은 “다음에는 어떻게 해야 하지?”라는 같은 질문을 반복적으로 묻는 자신과의 내면적 대화입니다.

이 질문에 제대로 대답하려면 몇 가지 핵심 데이터가 필요합니다.

1. 주변 세계의 정보
2. 동기와 욕구
3. 이전 사건과 경험에 대한 기억

설명을 위해, 당신의 감각에 의해 생성된 외부 인식인 전화 벨소리를 듣는다고 가정해 보겠습니다. 대답해야합니까?

당신은 전화를 기다리고 있다는 것을 기억하고 그것을 놓치고 싶지 않습니다. 당신의 동기와 기억은 결합되어 다음에 무엇을 할지 결정하는 데 필요한 모든 것을 제공합니다. 이것이 인지입니다.

당신은 전화에 응답하기로 선택합니다. 이는 인지의 행동이자 결과입니다.

이러한 인식, 인지 및 행동은 나중에 의사 결정을 내릴 때 기억하기 위해 기억에 저장되는 경우가 많습니다.

개발자가 코딩하는 전통적인 규칙 기반 AI 시스템으로 이러한 인간 특성을 모방하는 것은 불가능합니다. 잠재적인 시나리오의 수는 무한합니다. 그러나 생성형 AI와 인간이 세상에 어떻게 반응하는지 설명하는 수조 개의 문장으로 훈련된 대규모 언어 모델의 도움으로 인간과 같은 의사 결정을 시뮬레이션할 수 있습니다.

NVIDIA ACE 자율 게임 캐릭터는 개발자가 게임에서 인간처럼 생각하고 느끼고 행동하는 AI 에이전트를 만들 수 있도록 지원하는 인식, 인지, 행동, 렌더링을 위한 생성적 AI 모델 제품군을 기반으로 합니다.

SLM이 올바른 결정을 내리려면 자율 게임 캐릭터에 제공되는 인식 데이터의 고주파 스트림이 있어야 합니다. 이 감각 데이터를 캡처하기 위해 여러 모델과 기술이 사용됩니다.

• 오디오
  • NemoAudio-4B-Instruct - 게임 환경에서 사운드스케이프를 설명할 수 있는 새로운 오디오+텍스트 입력 및 텍스트 출력 SLM
  • Parakeet-CTC-XXL-1.1B-Multilingual - 다국어 오디오를 텍스트로 변환합니다.
• 비전
  • NemoVision-4B-128k-Instruct - 간단한 공간 이해가 가능한 새로운 오디오+이미지 입력 ​​및 텍스트 출력 SLM
• 게임 상태
  • 게임 세계에서 가장 좋은 정보 소스 중 하나는 게임 자체입니다. SLM이 게임 세계에 대해 추론할 수 있도록 게임 상태를 텍스트로 기록할 수 있습니다.

e스포츠 연구에 따르면 대부분의 게이머는 "하위 동작"이라고 불리는 1초에 약 8~13개의 미세한 결정을 내립니다. 이는 조준 방향 수정이나 기술 사용 시기 결정과 같은 간단한 작업일 수도 있고 전략 재평가 시작 결정과 같은 더 복잡한 작업일 수도 있습니다.

일반적으로 인지 작업은 매우 빈번하므로 레이턴시와 처리량 요구 사항을 모두 충족하는 작업을 수행하려면 작은 언어 모델이 필요합니다. 인지를 위한 ACE SLM에는 다음이 포함됩니다.

• Mistral-Nemo-Minitron-8B-128k-Instruct - 자율 게임 캐릭터의 핵심 역량인 지시 따르기 기능 측면에서 차트 1위를 차지하는 최첨단 소형 언어 모델
• Mistral-Nemo-Minitron-4B-128k-Instruct - 동일한 모델, 단지 더 작음
• Mistral-Nemo-Minitron-2B-128k-Instruct - 그리고 심지어 더 작습니다! 최소 1.5GB의 VRAM에 적합

행동을 취하는 것은 연설, 게임 행동, 장기 계획에 이르기까지 다양한 형태로 이루어집니다. 작업을 효과적으로 수행하기 위해 개발자는 모델과 전략의 조합을 사용할 수 있습니다.

• 행동 선택 - 게임에서 취할 수 있는 유한한 행동이 주어지면 SLM은 가장 적절한 행동을 선택할 수 있습니다(아래 inZOI에서와 같이).
• 텍스트 음성 변환 - Elevenlabs.io 또는 Cartesia와 같은 훌륭한 텍스트 음성 변환 모델을 사용하여 텍스트 응답을 청각 응답으로 변환할 수 있습니다.
• 전략적 계획 - 대량의 데이터를 처리하고 추론할 때 이러한 에이전트는 더 높은 수준, 더 낮은 빈도의 전략을 제공할 수 있는 더 큰 모델에 접근할 수 있습니다. 이는 클라우드 LLM API 또는 SLM에 대한 일련의 CoT(생각의 사슬) 프롬프트인 경우가 많습니다.
• 반성 - 중요한 조치 중 하나는 이전 조치의 결과를 반성하는 것입니다. “내가 옳은 것을 선택했나요?” 이 행동은 시간이 지남에 따라 더 나은 미래 행동을 만들어낼 수 있으며 캐릭터가 스스로 교정할 수 있게 해줍니다.

자율 게임 캐릭터가 이전의 인식, 행동 및 인지를 회상할 수 있으려면 기억이 중요합니다. 또한 즉각적인 상황에서는 관련성이 덜할 수 있는 장기 목표와 동기를 추적하는 데에도 유용합니다. RAG(검색 증강 생성)라는 기술을 사용하여 개발자는 유사성 검색을 사용하여 현재 프롬프트에 대한 관련 정보를 "기억"할 수 있습니다.

• E5-Large-Unsupervised - 개발자는 NVIDIA In-Game Inference SDK를 사용하여 게임 프로세스 내 임베딩에 최적화된 임베딩 모델을 사용할 수 있습니다.

위의 모델과 기술을 결합하여 파트너는 최초의 자율 게임 캐릭터 경험을 제작했습니다. 미래를 잠시 살펴보겠습니다.

NVIDIA ACE 캐릭터는 자율적인 분대원 역할을 하며 명령을 따르고 전리품을 수집 및 공유하며 적과 교전합니다. 그들은 주변에서 발생하는 동적 이벤트를 독립적으로 인식하고 이해하여 전략적 제안을 제공하고, 플레이어의 추가 프롬프트나 도움 없이 작업이나 명령을 완료하는 데 필요한 조치를 취합니다.

앞서 언급한 모든 것을 활용하는 AI의 힘과 자율성과 능력은 일반적으로 인간 팀원만이 경험할 수 있는 역동적인 게임플레이 경험을 만들어냅니다.

PUBG: BATTLEGROUNDS는 플레이어가 최후의 1인이 되기 위해 경쟁하는 장르를 정의하는 배틀 로얄 게임입니다. 강렬한 전술적 게임 플레이, 사실적인 전투 시나리오, 방대한 지도를 특징으로 하는 PUBG: BATTLEGROUNDS는 2017년 출시 이후 문화적 현상이 되었으며, 여전히 매일 Steam에서 가장 많이 플레이되는 게임 상위 5위 안에 들어가고 있습니다.

2025년, PUBG IP 프랜차이즈는 PUBG Ally와 함께 Co-Playable Character(CPC)를 선보입니다. NVIDIA ACE로 구축된 Ally는 AI 팀원이 게임별 용어를 사용하여 통신하고, 실시간 전략 권장 사항을 제공하고, 전리품을 찾아 공유하고, 차량을 운전하고, 게임의 광범위한 무기고를 사용하여 다른 인간 플레이어와 싸우세요.

“PUBG IP 프랜차이즈의 PUBG Ally와 NVIDIA ACE를 기반으로 구축된 세계 최초의 CPC(공동 플레이 가능 캐릭터)로 떠오르는 inZOI의 Smart Zoi가 새롭고 독특한 경험을 선사하고 있습니다. KRAFTON에서는 ACE 자율 게임 캐릭터의 가능성과 AI가 게임 제작 방식을 어떻게 향상시킬 것인지 기대하고 있습니다.” - 이강욱, KRAFTON 딥러닝 부문장

2025년 3월, NetEase는 NARAKA: BLADEPOINT MOBILE PC VERSION용 NVIDIA ACE로 구축된 로컬 추론 AI Teammate 기능을 출시할 예정이며, PC용 NARAKA: BLADEPOINT도 2025년 말에 이 기능을 추가할 예정입니다. NARAKA: BLADEPOINT는 가장 많이 플레이되는 상위 10개 게임 중 하나입니다. 매주 Steam에서 게임을 즐길 수 있으며 NARAKA: BLADEPOINT MOBILE은 휴대폰, 태블릿, 그리고 PC를 통해 매주 수백만 명의 플레이어들이 즐기고 있습니다.

NARAKA: BLADEPOINT MOBILE PC VERSION의 근접 중심 배틀 로얄에서는 최대 40명의 플레이어가 대규모 환경에서 싸우며 고유한 이동 능력, 전투 기술 및 플레이어가 콤보, 패리, 공격에 사용하는 극동에서 영감을 받은 무기를 사용하여 전투를 벌입니다. 승리를 위해 적과 맞서십시오.

NVIDIA ACE가 지원하는 AI 팀원이 파티에 참여하여 함께 전투하고, 필요한 특정 아이템을 찾고, 장비를 교환하고, 잠금 해제할 기술에 대한 제안을 제공하고, 승리를 달성하는 데 도움이 되는 플레이를 할 수 있습니다.

“NVIDIA는 게임 개발자가 AI 기술을 통해 예상한 한계를 뛰어넘을 수 있도록 지원합니다. NARAKA의 NVIDIA ACE: BLADEPOINT 모바일 PC 버전을 통해 저희는 AI 자율 캐릭터를 생성할 수 있으며, 이를 통해 장치에서 로컬로 실행되는 AI 자율 팀원을 생성하여 장대한 전투에서 플레이어를 자연스럽게 지원할 수 있습니다.” – Zhipeng Hu, Thunder Fire BU 책임자, NetEase Corp. SVP

KRAFTON의 inZOI는 Steam에서 가장 위시리스트에 오른 게임 상위 10개 중 하나입니다. 곧 출시될 생활 시뮬레이션 게임을 통해 플레이어는 게임 세계의 모든 측면을 변경하여 독특한 스토리와 경험을 만들 수 있습니다. Unreal Engine 5를 사용하여 개발된 inZOI의 사실적인 그래픽을 통해 플레이어는 게임의 사용하기 쉬운 제작 도구를 통해 자신의 상상력을 자유롭게 시각화할 수 있습니다. 캐릭터의 외모와 의상을 커스터마이징하고, 자유롭게 이동할 수 있는 다양한 가구와 구조물을 사용하여 꿈의 집을 건설하세요.

NVIDIA ACE로 구축된 inZOI는 이전에 본 것보다 더 반응적이고 사실적인 공동 플레이 가능 캐릭터(CPC)인 Smart Zoi를 선보입니다. 플레이어는 도시의 모든 ZOI가 삶의 목표에 따라 자율적으로 행동하고 환경과 주변에서 일어나는 사건에 반응하여 더 깊은 몰입감과 복잡한 사회적 상황으로 이어지는 포괄적인 커뮤니티 시뮬레이션을 경험하게 됩니다.

아래 비디오는 LM(언어 모델) 이전 시나리오와 LM 이후 시나리오의 강력한 비교를 통해 최첨단 온디바이스 LM 기술이 inZOI의 캐릭터 상호 작용 및 행동에 미치는 엄청난 영향을 보여줍니다.

NVIDIA ACE 캐릭터는 싱글 플레이어, 협동, 멀티 플레이어 게임에서도 적대자 역할을 할 수 있습니다.

기존의 스크립트 보스와는 달리 플레이어의 행동과 행동을 통해 지속적으로 학습하고 가장 많이 사용하는 전략, 능력 및 주문에 대응하여 적응하도록 강요하는 적과 싸울 수 있습니다. 동적으로 조정되는 공격으로 보스와 싸우세요. 단순히 공격 패턴을 기억하는 대신 IRL 기술을 레벨업해야 합니다. 그리고 플레이어 전술에 적응하는 끈질긴 적 세력이 있는 대규모 멀티플레이어 세계로 들어가세요. 가능성은 무궁무진하며 역동적인 AI를 사용하면 두 번의 전투가 동일하지 않아 게임 플레이가 더욱 흥미롭고 매력적입니다.

큰 인기를 끌었던 미르의 전설 프랜차이즈의 최신작인 위메이드넥스트의 MIR5는 NVIDIA ACE를 사용하여 보스와의 만남을 강화할 예정입니다. ACE 기술을 통해 보스는 플레이어와의 이전 만남을 통해 MMORPG에서 플레이어가 사용하는 전술, 기술 및 장비에 적응하게 됩니다.

MIR5의 AI는 현재 직면하고 있는 인간의 현재 로드아웃과 설정을 평가하고 이를 과거 조우와 비교한 후 승리를 위한 최선의 행동 방침을 결정합니다. ACE 기술을 사용하는 보스전은 독특하며, 이미 패배한 보스를 파밍하기 위해 다시 돌아가면 전투가 다르게 진행되어 플레이어가 긴장을 늦추지 않고 게임플레이를 더욱 흥미롭게 만들 수 있습니다.

“NVIDIA와 함께 저희는 NVIDIA ACE 자율 게임 캐릭터를 통해 게임의 새로운 시대를 시작했습니다. MIR5의 AI 보스는 게임의 획기적인 순간으로, 모든 플레이 세션에서 독특한 보스를 만날 수 있습니다. 이 기술이 게임을 어떻게 변화시킬지 기대됩니다.” - 박정수 위메이드넥스트 대표

몇몇 개발자들은 NVIDIA ACE를 사용하여 완전히 새로운 유형의 게임플레이를 제작하고 있습니다. 대화, 대결, 상호작용은 플레이어 프롬프트와 AI 생성형 응답에 의해서만 이루어집니다. 이러한 캐릭터는 대화할 뿐만 아니라 게임에서 행동을 취하여 플레이어에게 게임과 상호 작용할 수 있는 새로운 몰입형 방법을 제공합니다.

Meaning Machine의 Dead Meat는 플레이어가 음성이나 키보드를 사용하여 용의자에게 무엇이든 물어볼 수 있는 곧 출시될 살인 미스터리 게임입니다. 용의자의 알리바이에 대해 논의하고 싶으신가요? 삶의 의미에 대해 조사해 볼까요? 사랑을 고백해? 당신의 말은 힘을 갖고 무엇이든지 이루어집니다. 그들을 설득하고, 조종하고, 위협하고, 심지어 유혹하여 비밀을 누설하도록 하세요. 심문실은 당신의 샌드박스이며, 당신의 상상력이 유일한 한계입니다. 진실을 밝히기 위해 무엇을 요구하시겠습니까?

CES 2025에서 Dead Meat는 GeForce RTX 50 시리즈 GPU에서 실시간으로 실행되어 처음으로 로컬에서 대화를 생성하는 것으로 나타났습니다. 이전에는 이 게임이 클라우드에서 LLM을 활용했지만 NVIDIA와 협력하여 Meaning Machine은 "기기에서" 로컬로 실행되는 Dead Meat 버전을 만들었습니다.

NVIDIA ACE 및 NVIDIA Mistral-NeMo-Minitron-8B-128K 소형 언어 모델(SLM), Eleven Labs의 TTS(텍스트 음성 변환) 및 Open AI의 Whisper 자동 음성 인식(ASR)으로 구축된 Meaning Machine의 Game Conscious AI™ 사용 , Dead Meat의 새 버전은 클라우드에서 달성한 것과 동일한 문자 깊이를 제공하지만 이제 대화 텍스트는 GPU에서 로컬로 생성됩니다.

이러한 대화 품질을 달성하기 위해 Meaning Machine은 자체 대화 데이터를 사용하여 NVIDIA 소형 언어 모델을 파인튜닝한 다음 해당 모델을 Game Conscious™ 시스템과 통합했습니다. 올해 말 내면의 탐정을 발휘할 준비를 하고 Dead Meat의 Steam 페이지에서 곧 있을 데모를 계속 지켜봐 주시기 바랍니다.

AI People은 GoodAI의 독특한 샌드박스 게임으로, 플레이어는 AI 기반 NPC와 함께 시나리오를 만들고 플레이하며 서로, 주변 환경, 플레이어와 자율적으로 상호 작용하여 역동적인 AI 생성 내러티브를 만들어냅니다.

거대 언어 및 음성 인식 모델로 구축되어 GeForce RTX GPU에서 로컬로 실행되거나 클라우드에서 실행되는 각 NPC는 환경 및 그 안의 개체와 자율적으로 상호 작용합니다. 이 NPC들은 배우고, 감정을 경험하고, 목표를 추구하고, 꿈꾸고, 이야기하고, 여러분이 살아갈 수 있는 역동적인 이야기를 만듭니다.

아래 AI People 비디오에서 이 새로운 게임 플레이 경험을 먼저 살펴보세요.

F.I.S.T.: Forged In Shadow Torch는 DLSS, Reflex, 그리고 레이트레이싱을 특징으로 하는 Metroidvania 스타일의 게임으로 호평을 받았습니다. 개발사인 TiGames는 이제 미래 프로젝트를 위한 기술 데모인 ZooPunk를 공개했습니다.

NVIDIA ACE, Audio2Face, 그리고 최초로 인게임 Stable Diffusion 이미지 생성을 사용하여 구축된 TiGames의 AI 기술 데모는 구름 바다 위의 떠다니는 주방에서 플레이어에게 대화와 상호 작용을 안내합니다.

임무를 통해 수집된 정보에 대해 동맹국과 대화하고 부두로 가서 기계형 제국과의 전쟁에서 Rayton을 도울 새로운 군함을 설계하세요. 로컬에서 호스팅되는 Stable Diffusion 이미지 생성을 사용하여 새로운 선박 삽화를 요청하고 수십 개의 슬라이더를 조정하는 대신 텍스트 음성 변환 입력을 통해 페인트 작업을 조정합니다.

향후 프로젝트에 대해 자세히 알아보려면 TiGames 웹사이트를 계속 지켜봐 주시기 바랍니다.

개발자들은 자율적인 게임 캐릭터를 구동하는 것 외에도 ACE 기술을 사용하여 NVIDIA Audio2Face를 통해 게임에서 AI 기반 얼굴 애니메이션과 립싱크를 구동하고 있습니다. 개발자는 Audio2Face를 사용하여 이전에 기본적인 입술 움직임만 특징으로 했던 캐릭터에 쉽게 애니메이션을 적용할 수 있습니다. 성우가 자신의 대사를 녹음한 다음 캐릭터 얼굴, 눈, 혀 및 입술이 그에 따라 애니메이션화되는 Audio2Face에 입력되어 개발자가 상당한 시간과 비용을 절약할 수 있습니다.

Survios의 Alien: Rogue Incursion은 이제 NVIDIA Audio2Face 기술을 통해 PCVR와 PSVR2에서 사용할 수 있습니다. 액션 호러 가상 현실 게임인 Alien: Rogue Incursion은 플레이어를 Alien 세계의 공포 속으로 완전히 몰입시키는 독창적인 스토리를 제공합니다. 이 사랑의 노동은 Alien 팬을 위해 Alien 팬이 디자인했습니다.

플레이어는 생존을 위한 여정 동안 몇 명의 인간형 생존자를 만나게 됩니다. 이들 모두는 Audio2Face로 구동되어 성우의 녹음된 대화를 기반으로 사실적인 얼굴 애니메이션을 생성합니다.

Perfect World Games의 World of Jade Dynasty는 Unreal Engine 5 기반의 대규모 멀티플레이어 온라인 롤플레잉 게임으로, 개발자의 믿을 수 없을 만큼 인기를 끌었던 Jade Dynamise의 후속작입니다. 게임에서는 100인 대규모 전투의 스릴과 던전 탐험의 짜릿함, 검을 타고 구름을 가르며 날아오르는 자유로움을 경험할 수 있습니다. PVP, PVE, PVX 중 무엇을 좋아하든 불멸로 향하는 독특한 길이 여러분을 기다리고 있습니다.

새로운 비디오는 개발자가 중국어와 영어로 된 대규모 캐릭터에 NVIDIA Audio2Face를 추가하는 과정을 보여주고, 녹음된 음성 연기에서 감지된 다양한 변수를 기반으로 애니메이션이 어떻게 동적으로 조정되는지 보여줍니다. 조정이 필요한 경우 개발자는 물론 특정 장면에 맞게 대화를 조정하여 적합하다고 판단되는 대로 조정할 수 있습니다.

생성적 AI를 통해 플레이어는 게임을 한 단계 더 발전시킬 새로운 형태의 게임플레이를 경험하게 됩니다. 최고의 게임 개발자들은 이미 PUBG: BATTLEGROUNDS, inZOI, MIR5, NARAKA: BLADEPOINT MOBILE PC VERSION과 같은 주요 타이틀을 통해 가능성을 보여주기 시작했습니다. 이러한 예는 빙산의 일각에 불과합니다. 흥미로운 2025년을 기대해 주세요.

NVIDIA ACE에 대한 향후 개발 소식과 얼리 액세스 프로그램에 대해 자세히 알아보세요. 또한, 다른 GeForce RTX 50 시리즈 발표를 모두 확인하고 NVIDIA가 어떻게 게임과 앱 경험을 더욱 향상시키고 PC 산업을 발전시키는 새로운 혁신을 제공하고 있는지 확인하세요.