Audio2Face open-source

Audio2Face de Nvidia Ahora es de Código Abierto: Avatares 3D Realistas para Todos

IA

Nvidia acaba de lanzar una actualización bastante grande: están haciendo de código abierto su herramienta Audio2Face. ¿Qué significa eso para ti? Bueno, si te gustan los avatares 3D y las animaciones faciales realistas, definitivamente es algo por lo que emocionarse. Básicamente, Audio2Face utiliza IA para crear animaciones faciales para personajes 3D basándose únicamente en la entrada de audio. Imagina, el rostro de tu avatar reflejando las emociones y los movimientos de los labios de alguien hablando en tiempo real – bastante genial, ¿verdad?

Lo que es realmente interesante es que esto no es solo para contenido prefabricado. Nvidia dice que también puedes usarlo para transmisiones en vivo. Ya puedo imaginar algunas aplicaciones bastante interesantes para esto, especialmente en el mundo de la realidad virtual y experiencias de metaverso.

Farm51, la gente detrás de Chernobylite 2, y los desarrolladores que trabajan en Alien: Rogue Incursion Evolved Edition ya están jugando con él. Es un testamento del potencial que estos desarrolladores de juegos están usando esto, ¿no?

Ahora, la mejor parte. Como Nvidia está haciendo que el software sea de código abierto, puedes ajustarlo a tu gusto. Si quieres entrenar tus propios modelos, siéntete libre de hacerlo, el framework está disponible.

Fuente: The Verge