DreamActor-M1 From ByteDance
DreamActorM1 é uma estrutura de animação humana baseada em transformadores de difusão, com orientação híbrida para alcançar controle holístico de grão fino, adaptabilidade em múltiplas escalas e coerência temporal a longo prazo.
Listado em categorias:
VídeoFerramentas de designGitHub
Descrição
DreamActorM1 é uma estrutura de animação humana baseada em DiT que utiliza orientação híbrida para alcançar controle holístico de alta precisão, adaptabilidade multiescalar e coerência temporal de longo prazo. Ele pode imitar comportamentos humanos capturados de vídeos, produzindo vídeos humanos altamente expressivos e realistas em múltiplas escalas, desde animações de retrato até animações de corpo inteiro. Os vídeos resultantes são temporariamente consistentes, preservam a identidade e têm alta fidelidade.
Como usar DreamActor-M1 From ByteDance?
Para usar o DreamActorM1, os usuários precisam fornecer uma imagem de referência ou múltiplos quadros de um vídeo de entrada. A estrutura então extrai esqueletos corporais e esferas de cabeça dos quadros de condução, os codifica e os combina com a latência do vídeo para gerar animações expressivas. Os usuários podem controlar vários aspectos da animação, incluindo expressões faciais e movimentos corporais, através do sistema de orientação híbrida.
Recursos principais de DreamActor-M1 From ByteDance:
1️⃣
Controle holístico de alta precisão
2️⃣
Adaptabilidade multiescalar
3️⃣
Coerência temporal de longo prazo
4️⃣
Controle robusto de expressões faciais e movimentos corporais
5️⃣
Suporte para animação facial acionada por áudio com capacidades de sincronização labial
Por que usar DreamActor-M1 From ByteDance?
| # | Caso de uso | Status | |
|---|---|---|---|
| # 1 | Criar animações humanas expressivas para filmes e jogos | ✅ | |
| # 2 | Gerar avatares realistas para ambientes de realidade virtual | ✅ | |
| # 3 | Produzir conteúdo animado para redes sociais e marketing | ✅ | |
Desenvolvido por DreamActor-M1 From ByteDance?
O DreamActorM1 foi desenvolvido por uma equipe de pesquisadores, incluindo Yuxuan Luo, Zhengkun Rong, Lizhen Wang, Longhao Zhang, Tianshu Hu e Yongming Zhu, afiliados à Bytedance Intelligent Creation. A equipe fez contribuições iguais para o desenvolvimento desta inovadora estrutura de animação humana.