Pequenos Marcianos

Vanessa Rosa

Este projeto fascinante é criado com peças físicas de cerâmica feitas à mão que são digitalizadas em 3D e depois transformadas em avatares alimentados por IA em um universo de ficção científica. Na história, as cabeças de cerâmica são memorabilia do memorial da humanidade, há muito perdido na galáxia. Eles fazem o possível para espalhar histórias sobre a vida no sistema solar enquanto procuram fundos para apoiar suas práticas de simulação e pesquisa.

A experiência

Credit: © NCCR Digital Fabrication, 2022

Pequenos Marcianos–Uma Breve História da Consciência na Simulação

2022

Este vídeo renderizado em 3D foi criado com NVIDIA Audio2Face e Blender usando um personagem de cerâmica digitalizado em 3D e voz gerada por IA. A transformação AI text2image foi aplicada a alguns dos quadros de vídeo e, em seguida, usada como um guia para o efeito de transferência de estilo.

ASSISTA

O processo

Foi a pandemia que inspirou Vanessa Rosa a imaginar histórias sobre o Memorial da Humanidade. Ela começou a criar cabeças humanóides alongadas apenas como um experimento. Em seguida, ela os digitalizou em 3D e descobriu como animar os personagens com captura de movimento. A narrativa emergiu lentamente do processo artístico: algo sobre a quantidade de dados que todos nós produzimos em nossas vidas cotidianas, como podemos simular nossas personalidades com robôs de linguagem AI e como os detalhes de nossas vidas serão acessíveis para as gerações futuras. Os contos humanos podem ser eternos em uma simulação sem fim.

“Uma breve história da consciência na simulação” é uma introdução ao universo ficcional dos Pequenos Marcianos. Ele explica como o Human Memorial emerge de todos os dados que os humanos produzem, coletam e usam como base para criar realidades simuladas. A história foi escrita pela artista e então ela selecionou vozes de IA para os personagens. Depois de testar diferentes soluções, as escolhidas vêm das vozes ultra realistas do Play.ht.

NVIDIA® Omniverse Audio2Face™ foi crucial para o fluxo de trabalho de Little Martians, oferecendo o sistema mais avançado até hoje para animar automaticamente um rosto usando apenas um clipe de áudio como entrada. O recurso Audio2Emotion cria movimentos faciais comparáveis aos de um ator real. Para este projeto, o artista está usando uma GPU NVIDIA RTX™ 5000. Os pesos das animações são exportados em formato JSON para um plug-in no Blender chamado Faceit.

Vários scans 3D feitos por Vanessa de locais históricos foram usados como cenários – lugares em Portugal, Brasil, EUA. O artista então adicionou iluminação personalizada, movimentos de câmera e animações aos personagens. Scans de esculturas de museus (Asian Art Museum em SF e o MET em NYC) também foram adicionados como personagens, além das cabeças flutuantes de cerâmica do artista.

Alguns quadros da renderização 3D são modificados usando o plug-in de photoshop de código aberto Stable Diffusion de Christian Cantrell. Os quadros transformados são usados como guias para o software Ebsynth (transferência de estilo com fluxo óptico) e uma nova animação é compilada com After Effects, mesclando pintura 2D com animação 3D. Por fim, um tipo diferente de animação foi criado usando o código-fonte aberto Deforum.art, que é baseado em Stable Diffusion e faz interpolações de AI.

Os prompts usados para a modificação da AI fundiram os estilos artísticos de Remedios Varo, Odilon Redon e Ernst Haeckel para criar uma nova estética sobre as imagens iniciais.

A animação dos créditos foi criada com o modelo NVIDIA StyleGAN3, treinado em 2000 fotos que Vanessa Rosa tirou de sua própria cerâmica. Gene Kogan foi o responsável pelo treinamento.

Credit: Ania Catherine

Sobre Vanessa Rosa

Vanessa Rosa é uma artista visual brasileira radicada nos Estados Unidos, cujo trabalho mescla mídia física e digital em uma narrativa contínua. Os murais tornam-se portais para um mundo imaginário com mapeamento de projeção e a cerâmica se metamorfoseia em entidades vivas com a ajuda de modelos de AI. Ela cria contos ficcionais sobre a história do mundo, onde o passado e os futuros possíveis se entrelaçam.

Vanessa já fez projetos de arte em vários países. Algumas de suas obras mais importantes incluem: o universo de ficção científica Little Martians, o livro infantil de História da Arte Diana's World, uma pintura sobre violência doméstica para a ONU Mulheres, um mural em grande escala para Pioneer Works (NYC, EUA), um mural para Le Center (Cotonou, Benin) e coordenação do projeto Sankofa durante os Jogos Olímpicos do Rio de Janeiro.

Instagram | Twitter | Local na rede Internet

Explore mais

Construção de mundo personalizado com avatares de IA

Explore o processo técnico e criativo desenvolvido para o mundo da ficção científica, Little Martians , que combina modelos de linguagem, conversão de texto em fala, digitalização 3D, animação 3D e geração personalizada de imagens de IA para criar facilmente um gêmeo digital editável de qualquer espaço, pessoa, ou objeto. Com as ferramentas do NVIDIA Omniverse, como o audio2face, é até possível animar vozes e inteligência de avatar personalizadas.

Watch the Session

Conheça o onívoro

Aprenda sobre o fluxo de trabalho digital exclusivo de Vanessa Rosa, usando Adobe, Blender e Omniverse Audio2Face, juntamente com a Universal Scene Description (USD), para dar vida a humanóides de cerâmica com um toque de ficção científica.

Leia o blog