NVIDIA와 개발자, NVIDIA ACE를 통해 게임 및 애플리케이션을 위한 실물과 같은 디지털 캐릭터 개척

NVIDIA ACE(아바타 클라우드 엔진)는 개발자가 생성형 AI를 사용하여 디지털 아바타에 생명을 불어넣는 데 도움이 되는 기술 제품군입니다. ACE를 사용하면 일반적인 NPC(플레이 불가능 캐릭터)를 대화를 시작하거나 플레이어의 퀘스트에 도움이 되는 게임 지식을 제공할 수 있는 역동적이고 상호 작용적인 캐릭터로 전환할 수 있습니다.

CES 2024에서 NVIDIA는 NVIDIA Audio2Face(A2F) 및 NVIDIA Riva 자동 음성 인식(ASR)을 위한 ACE 프로덕션 마이크로서비스의 출시와 최고의 디지털 아바타 개발자들이 NVIDIA ACE를 채택하고 있음을 발표합니다.

또한 Convai와 협력하여 최신 버전의 Kairos 데모를 출시하여 차세대 AI NPC가 게임에 어떻게 혁명을 일으킬 것인지 보여주었습니다. Convai는 개발자가 3D 세계의 캐릭터가 실제 사람과 같은 대화, 인식 및 행동 능력을 갖도록 쉽게 활성화할 수 있는 NPC 개발자 플랫폼입니다.

ACE를 통해 미들웨어, 도구 및 게임 개발자는 A2F 및 Riva ASR과 같은 최첨단 AI 모델을 가져와 게임 및 애플리케이션용 디지털 아바타 솔루션에 구현할 수 있습니다.

Riva ASR을 사용하면 플레이어는 AI 캐릭터에 입력하는 대신 마이크를 통해 AI 캐릭터와 대화할 수 있습니다. ASR 모델의 목표는 게이머가 자연스럽고 자연스럽게 말할 수 있도록 하여 몰입감 있고 역동적인 대화를 가능하게 하는 것입니다.

Audio2Face는 텍스트 음성 변환 모델과 같은 오디오 소스만으로 게임 캐릭터에 대한 표정이 풍부한 얼굴 애니메이션을 만듭니다. A2F는 실시간 표정과 립싱크 생성 및 얼굴 퍼포먼스의 오프라인 생성에 모두 사용됩니다. NPC 보컬 라인의 비결정적 특성으로 인해 실시간은 AI NPC에게 어려운 요구 사항이 됩니다. 자유형 AI 대화와 함께 개발자는 현실적인 얼굴 성능을 생성하기 위해 A2F와 같은 모델이 필요합니다.

최고의 대화형 아바타 및 게임 개발자들은 ACE 및 생성 AI 기술이 플레이어와 캐릭터의 상호 작용을 어떻게 변화시킬 수 있는지 개척하고 있습니다. Convai 외에도 ACE를 수용하는 다른 개발자로는 Charisma.AI, Inworld, miHoYo, NetEase Games, OurPalm, Tencent, Ubisoft 그리고 UneeQ가 있습니다.

Convai의 창립자이자 CEO인 Purnendu Mukherjee는 “가상 세계에서 생성되는 AI 기반 캐릭터는 이전에는 불가능했던 다양한 활용 사례와 경험을 제공합니다.”라고 말했습니다. "Convai는 Riva ASR 및 A2F를 활용하여 레이턴시가 짧은 응답 시간과 충실도가 높은 자연스러운 애니메이션을 갖춘 실물 같은 NPC를 구현하고 있습니다."

Tencent Games는 “이것은 게임 내 AI의 획기적인 순간이다”라고 말했다. “NVIDIA ACE와 Tencent Games는 개인적이고 실제와 같은 성격과 상호 작용을 갖춘 디지털 아바타를 비디오 게임에 도입할 수 있는 기반을 마련하는 데 도움이 될 것입니다.”

“수년 동안 NVIDIA는 게임 제작에 새롭고 혁신적인 방법을 제공하면서 게임 기술의 선두주자였습니다. NVIDIA는 게임 AI 기술을 채택하여 게임을 더욱 지능적이고 플레이 가능하게 만들고 있으며, 이는 궁극적으로 더욱 몰입감 있는 경험을 만들어냅니다.” - Zhipeng Hu, NetEase 수석 부사장 겸 LeiHuo 비즈니스 그룹 책임자

NPC와의 개방형 대화는 게임 내 상호작용의 가능성을 열어줍니다. 그러나 대화에는 잠재적인 행동으로 이어질 수 있는 결과가 있어야 합니다. NPC의 작업을 수행하려면 주변 세계를 인식하고 동적으로 상호 작용할 수 있어야 합니다. 파트너인 Convai와 최신 릴리스를 통해 우리는 협업 데모를 다음 단계로 끌어올려 AI NPC에 다음과 같은 새로운 기능을 제공합니다.

• 공간 인식 - 게임 캐릭터가 물체를 식별하고 상호 작용하며 주변 환경에 대한 대화에 참여할 수 있도록 합니다. 예를 들어, 플레이어가 아이템을 가리키면 캐릭터가 아이템에 대해 지능적으로 이야기할 것입니다.
• 액션 - 게임 캐릭터가 대화를 기반으로 게임 세계의 아이템과 상호 작용할 수 있도록 합니다. 예를 들어, 요청하면 사케 한 병을 배달합니다.
• NPC 간 상호 작용 - 게임 캐릭터가 서로 상호 작용할 수 있도록 하여 플레이어가 유휴 상태일 때에도 세계를 생생하게 표현할 수 있습니다.

또한 Convai는 새로운 NVIDIA ACE 마이크로서비스인 Audio2Face와 Riva ASR을 통합했습니다. Convai의 파이프라인에 새로운 ACE 마이크로서비스가 추가되면 게임 캐릭터는 플레이어의 말을 들을 때 향상된 립싱크, 더 나은 표현, 정확한 음성 감지 기능을 갖게 됩니다.

새로운 Kairos 데모를 살펴보겠습니다.

생성형 AI 기술은 게임을 변화시켜 NPC가 사전 기록된 스크립트를 넘어 플레이어와 의미 있는 상호 작용을 할 수 있도록 해줍니다. 여러분의 행동은 민간인과 주요 인물의 반응에 영향을 미칠 수 있으며, 스크립트에 따른 반응보다는 독특한 상호 작용을 얻게 될 것입니다.

NVIDIA는 모든 산업 분야에서 생성형 AI의 선두에 있습니다. NVIDIA는 CES 2024에서 강력한 생성형 AI 성능을 위한 GeForce RTX SUPER 데스크톱 GPU, 모든 주요 제조업체의 새로운 AI 노트북, 두 개발자를 위한 새로운 NVIDIA RTX 가속 AI 소프트웨어와 도구들을 발표했습니다. 자세한 내용은 여기에서 확인할 수 있습니다.

NVIDIA ACE에 대한 향후 개발 사항과 얼리 액세스 프로그램에 대해 자세히 알아보려면 구독하세요. 그리고 GeForce.com을 방문하여 최신 게임에서 NVIDIA RTX 기술과 GeForce RTX GPU의 더 많은 용도를 알아보세요.