A NVIDIA decidiu tornar sua tecnologia Audio2Face de código aberto, uma medida que permitirá que estúdios de qualquer tamanho utilizem o avançado sistema de animação facial. Isso possibilita a criação de personagens mais realistas e convincentes sem o enorme custo da captura de movimento facial tradicional.
Anteriormente, tais ferramentas estavam disponíveis principalmente para grandes corporações de jogos. Agora, até mesmo pequenas equipes independentes podem integrar facilmente a tecnologia em seus projetos. O Audio2Face converte a fala padrão em animação facial realista em tempo real, sincronizando os movimentos labiais ao diálogo e até mesmo transmitindo as emoções de um personagem—da alegria à surpresa.
A versão de código aberto inclui não apenas o SDK principal, mas também plugins para motores de jogos populares como Unreal Engine 5 e Unity. Além disso, os desenvolvedores terão acesso a estruturas de treinamento e bibliotecas com exemplos prontos para uso. Um componente particularmente interessante é o Audio2Emotion, que analisa a entonação da voz para determinar automaticamente o tom emocional da fala e refletir isso no rosto do personagem.
Entre os primeiros estúdios a já testar a tecnologia estão Codemasters, GSC Game World e NetEase. O acesso aberto a tais soluções poderia acelerar o desenvolvimento de jogos onde as interações com personagens não jogáveis (NPCs) se tornam muito mais naturais. Isso poderia significar o fim das expressões rígidas e diálogos robóticos, com os NPCs reagindo às palavras de um jogador com expressões faciais animadas, embora geradas por IA.
Uma observação importante: A tecnologia faz parte da plataforma maior NVIDIA ACE, que é adaptada para o hardware da própria empresa. Embora funções semelhantes possam teoricamente funcionar em GPUs de outros fabricantes, na prática, a NVIDIA provavelmente otimizará suas soluções especificamente para seu próprio equipamento. Ao tornar o Audio2Face de código aberto, a NVIDIA está dando um passo significativo em direção a tornar a animação sofisticada de IA um padrão da indústria, em vez de uma característica exclusiva para projetos de grande orçamento.