Avatares basados en puntos

1 de enero de 2023

Avatares de cabeza basados en puntos deformables de videos

La creación de avatares realistas de cabeza animadas que se puedan volver a recrear a partir de secuencias de video informales tiene un gran potencial en el área de la comunicación y el entretenimiento. Sin embargo, los métodos actuales tienen sus limitaciones.

Por un lado, los métodos basados en mallas transformables 3D explícitas (3DMM) están limitados por una topología fija, lo que dificulta su capacidad para deformar la geometría. Por otro lado, los métodos basados en representaciones neuronales implícitas son difíciles de deformar y son ineficientes para el renderizado.

Además, estos enfoques suelen combinar la iluminación con la estimación del color, lo que dificulta la posibilidad de volver a renderizar el avatar en nuevos entornos.

Una Representación Prometedora para la Creación de Avatares Animados Realistas

Para solucionar estos problemas, un equipo multisciplinar con Yufeng Zheng, Wang Yifan,Wetzstein,Michael J. Black Otmar, Hilliges presentan una nueva representación llamada PointAvatar. Esta representación está basada en puntos y separa el color de origen en albedo intrínseco y sombreado dependiente de la normalidad.

Esto permite que PointAvatar combine la alta calidad de la geometría y la apariencia con una mayor flexibilidad topológica, facilidad de deformación y eficiencia de renderizado.

La idea es demostrar que PointAvatar es capaz de generar avatares 3D animables utilizando videos de varias fuentes, como teléfonos inteligentes, cámaras web de computadoras portátiles y videos de Internet. Además, el método obtiene resultados de vanguardia en casos difíciles, como detalles delgados mechones de cabello, y es significativamente más eficiente en el entrenamiento que los métodos de la competencia.