Mochi 1 - Genmo推出的开源高质量AI视频生成模型

发布于 2024-10-23 · Mochi 1是Genmo公司推出的开源视频生成模型,在动作质量和遵循用户提示方面表现出色。Mochi 1基于Apache 2.0许可证发布,支持个人和商业用途的免费使用。模型目前提供480p的基础版本,计划在年底前推出支持720p的高清版本Mochi 1 HD,提供更高保真度和更流畅的动作。

Mochi 1是什么

Mochi 1是Genmo公司推出的开源AI视频生成模型,动作质量和提示词遵循都做得不错。Mochi 1 以 Apache 2.0 许可证发布,个人和商业用途都能免费用。目前提供的是 480p 基础版本,年底前会推出 720p 高清版 Mochi 1 HD,保真度更高、动作更流畅。Mochi 1 的模型权重和架构在 Hugging Face 上能找到,Genmo 还开了个托管游乐场,想试 Mochi 1 的功能不用花钱。

Mochi 1的主要功能

  • 高保真度动作生成:Mochi 1 在动作生成上进步明显,视频出得流畅,流体动力学、毛发模拟这类物理效果能模拟,人的动作也连贯,开始跨过恐怖谷那道坎。
  • 强大的提示遵循能力:Mochi 1 读提示词读得准,生成的视频基本符合预期。视频靠文本和视觉标记联合构建,路子类似 Stable Diffusion 3;流式架构的隐藏维度更大,参数数量接近文本流的四倍。
  • 开源架构:Mochi 1 的模型权重和源代码按 Apache 2.0 开源许可证发布,下载、使用都自由,个人和商业用途都行。
  • 高效率:Mochi 1 用的是 Genmo 自研的非对称扩散变压器(Asymmetric Diffusion Transformer,简称 AsymmDiT),文本处理简化、算力往视觉效果上偏,用户提示和压缩后的视频令牌都处理得利索。
  • 托管游乐场:Genmo 新开了一个托管游乐场,Mochi 1 的功能可以免费试,视频生成的流程也能体验一遍。
  • 高参数量:Mochi 1 用的是 100 亿参数的扩散模型,参数量上去了,训练出来的模型也更准。

Mochi 1的技术原理

  • 非对称扩散变压器(AsymmDiT)架构:Mochi 1 底层是 Genmo 自研的非对称扩散变压器架构:文本处理简化,精力放在视觉上,用户提示和压缩视频令牌都处理得动。AsymmDiT 用文本和视觉标记一起构建视频,思路类似 Stable Diffusion 3,但流式架构的隐藏维度更大,参数数量接近文本流的四倍;非对称设计的好处是部署时内存占用低一些。
  • 实时视频生成技术:Mochi 1 用了 Pyramid Attention Broadcast(PAB)技术,把冗余的注意力计算砍掉,帧率最高到 21.6 FPS,加速 10.6 倍,视频质量不因此打折。以后基于 DiT 的视频生成模型也能用这套技术提速,往实时生成靠。

Mochi 1的项目地址

Mochi 1的应用场景

  • 视频内容创作:Mochi 1 可以生成动画、特效、短片这类内容,视频制作者和艺术家多了一件趁手的工具。
  • 教育和培训:教育领域,Mochi 1 可以生成教学视频,复杂概念好讲一些,实验过程也能模拟,学习效率跟着提。
  • 娱乐和游戏:游戏和娱乐行业,Mochi 1 能生成游戏里的动态背景视频或故事情节,玩家的沉浸感更强。
  • 广告和营销:Mochi 1 可以生成广告视频,成本比实拍低,内容也更有吸引力。
  • 社交媒体:社交媒体平台上,内容创作者可以用 Mochi 1 做短视频,素材更有个性,关注和互动也会多一些。
  • 新闻和报道:新闻行业里,Mochi 1 能生成报道的背景视频或事件的动态视觉效果,报道的观感更好。
0

相关文章

0 条评论

后参与评论

暂无评论,来抢沙发。