DreamActor-M1 From ByteDance
DreamActorM1 est un cadre d'animation humaine basé sur des transformateurs de diffusion, utilisant une guidance hybride pour atteindre un contrôle holistique finement granulaire, une adaptabilité multi-échelle et une cohérence temporelle à long terme.
Listé dans les catégories:
VidéoOutils de conceptionGitHub
Description
DreamActorM1 est un cadre d'animation humaine basé sur DiT qui utilise une guidance hybride pour atteindre un contrôle holistique de précision, une adaptabilité multiscale et une cohérence temporelle à long terme. Il peut imiter les comportements humains capturés à partir de vidéos, produisant des vidéos humaines hautement expressives et réalistes à travers plusieurs échelles, des animations de portrait aux animations de corps entier. Les vidéos résultantes sont temporellement cohérentes, préservent l'identité et sont de haute fidélité.
Comment utiliser DreamActor-M1 From ByteDance?
Pour utiliser DreamActorM1, les utilisateurs doivent fournir une image de référence ou plusieurs images d'une vidéo d'entrée. Le cadre extrait ensuite les squelettes corporels et les sphères de tête des images de conduite, les encode et les combine avec le latent vidéo pour générer des animations expressives. Les utilisateurs peuvent contrôler divers aspects de l'animation, y compris les expressions faciales et les mouvements corporels, grâce au système de guidance hybride.
Fonctionnalités principales de DreamActor-M1 From ByteDance:
1️⃣
Contrôle holistique de précision
2️⃣
Adaptabilité multiscale
3️⃣
Cohérence temporelle à long terme
4️⃣
Contrôle robuste des expressions faciales et des mouvements corporels
5️⃣
Support pour l'animation faciale audio-guidée avec des capacités de synchronisation labiale
Pourquoi pourrait-il être utilisé DreamActor-M1 From ByteDance?
| # | Cas d'utilisation | Statut | |
|---|---|---|---|
| # 1 | Créer des animations humaines expressives pour des films et des jeux | ✅ | |
| # 2 | Générer des avatars réalistes pour des environnements de réalité virtuelle | ✅ | |
| # 3 | Produire du contenu animé pour les réseaux sociaux et le marketing | ✅ | |
Développé par DreamActor-M1 From ByteDance?
DreamActorM1 est développé par une équipe de chercheurs comprenant Yuxuan Luo, Zhengkun Rong, Lizhen Wang, Longhao Zhang, Tianshu Hu et Yongming Zhu, affiliés à Bytedance Intelligent Creation. L'équipe a apporté des contributions égales au développement de ce cadre d'animation humaine innovant.