Animate Anyone - 阿里推出的图像到视频角色动画合成的框架

发布于 2024-01-16 · Animate Anyone是由阿里巴巴智能计算研究院推出的一款将静态图像中的角色或人物进行动态化的开源框架,该框架在扩散模型的基础之上,引入了ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,以实现照片动起来时保持一致性、可控性和稳定性,输出高质量的动态化视频。

Animate Anyone是阿里巴巴智能计算研究院做的一个开源框架,把静态图像里的角色或人物变成动态画面,在GitHub上已经有近1.3万个星标,国内外的讨论都不少。框架建在扩散模型之上,引入ReferenceNet、Pose Guider姿态引导器和时序生成模块这几块技术,照片动起来以后能保持一致性、可控性和稳定性,输出的动态视频质量高。阿里旗下AI聊天助手通义千问里的「通义舞王」功能用的就是这套技术,照片里的人物/角色能跳科目三、抖肩舞、鬼步舞。

Animate Anyone

Animate Anyone的应用场景

  • 角色动态化:真人、动漫角色、卡通形象,或者人形物体,Animate Anyone都能让它们动起来,做创意项目时很好用。
  • 时尚视频合成:时尚领域里,Animate Anyone能把静态模特转成动态展示,不同角度、不同着装效果都呈现出来,服装展示多了一种视觉玩法。
  • 人类舞蹈生成:Animate Anyone把参考图像和姿态骨架动画结合起来,能生成逼真的舞蹈视频,再一本正经的人物也能跳起来。

如何使用Animate Anyone

Animate Anyone的项目主页为https://humanaigc.github.io/animate-anyone/,GitHub代码库地址为https://github.com/HumanAIGC/AnimateAnyone,也可以通过通义千问APP或Hugging Face在线快速体验:

  1. Hugging Face社区Demo:访问https://huggingface.co/spaces/xunsong/Moore-AnimateAnyone,上传或拖入图像,加上动态姿态图,调好参数后点Animate,图里的角色就动起来了
  2. 通义千问:手机装好通义千问APP,在指令中心选「一张照片来跳舞」,或者直接输入通义舞王;挑一个感兴趣的舞蹈模版,上传静态照片,动态视频就生成了
0

相关文章

0 条评论

后参与评论

暂无评论,来抢沙发。