DreamActor-M1 From ByteDance
DreamActorM1 es un marco de animación humana basado en transformadores de difusión, que utiliza una guía híbrida para lograr un control holístico de grano fino, adaptabilidad multiescalar y coherencia temporal a largo plazo.
Listado en categorías:
VideoHerramientas de diseñoGitHub
Descripción
DreamActorM1 es un marco de animación humana basado en DiT que utiliza orientación híbrida para lograr un control holístico de alta precisión, adaptabilidad multiescalar y coherencia temporal a largo plazo. Puede imitar comportamientos humanos capturados de videos, produciendo videos humanos altamente expresivos y realistas en múltiples escalas, desde animaciones de retrato hasta animaciones de cuerpo completo. Los videos resultantes son temporalmente consistentes, preservan la identidad y son de alta fidelidad.
Cómo usar DreamActor-M1 From ByteDance?
Para usar DreamActorM1, los usuarios deben proporcionar una imagen de referencia o múltiples fotogramas de un video de entrada. El marco luego extrae esqueletos corporales y esferas de cabeza de los fotogramas de conducción, los codifica y los combina con la latencia del video para generar animaciones expresivas. Los usuarios pueden controlar varios aspectos de la animación, incluidas las expresiones faciales y los movimientos corporales, a través del sistema de orientación híbrida.
Características principales de DreamActor-M1 From ByteDance:
1️⃣
Control holístico de alta precisión
2️⃣
Adaptabilidad multiescalar
3️⃣
Coherencia temporal a largo plazo
4️⃣
Control robusto de expresiones faciales y movimientos corporales
5️⃣
Soporte para animación facial impulsada por audio con capacidades de sincronización labial
Por qué podría ser usado DreamActor-M1 From ByteDance?
| # | Caso de Uso | Estado | |
|---|---|---|---|
| # 1 | Crear animaciones humanas expresivas para películas y videojuegos | ✅ | |
| # 2 | Generar avatares realistas para entornos de realidad virtual | ✅ | |
| # 3 | Producir contenido animado para redes sociales y marketing | ✅ | |
Desarrollado por DreamActor-M1 From ByteDance?
DreamActorM1 fue desarrollado por un equipo de investigadores, incluidos Yuxuan Luo, Zhengkun Rong, Lizhen Wang, Longhao Zhang, Tianshu Hu y Yongming Zhu, afiliados a Bytedance Intelligent Creation. El equipo ha hecho contribuciones iguales al desarrollo de este innovador marco de animación humana.