Emu3 - 北京智源推出的统一输入与生成多模态模型

Emu3是什么

Emu3是北京智源人工智能研究院推出的原生多模态世界模型，走智源自研的多模态自回归路线，图像、视频、文字放在一起训练，三种模态天生打通，输入输出都能统一。Emu3把各类内容转换成离散符号，交给一个单一的Transformer模型去预测下一个符号，架构因此简化了不少。图像生成上，Emu3只要一段文本描述就能造出符合要求的高质量图像，表现超过专门的图像生成模型SDXL。理解方面，Emu3能准确描述现实世界场景并给出恰当的文字回应，不用依赖CLIP或预训练的语言模型。给一段现有视频，Emu3也能接着往下扩展场景，过渡比较自然。

Emu3的主要功能

• 图像生成：Emu3按文本描述生成高质量图像，不同分辨率和风格都能出。
• 视频生成：Emu3生成视频靠预测序列中的下一个符号，不需要复杂的视频扩散技术。
• 视频预测：Emu3能顺着现有视频自然往下接，预测接下来会发生什么，环境、人物、动物这些物理世界的东西都能模拟。
• 图文理解：Emu3理解物理世界，给出的文本回应也连贯，整套不靠CLIP或预训练的语言模型。

Emu3的技术原理

• 下一个token预测：Emu3的核心是下一个token预测，属于自回归的做法：训练模型去预测序列里的下一个元素，文本、图像、视频都一样。
• 多模态序列统一：Emu3把图像、文本和视频统一到一个离散的token空间里，所以一个Transformer模型就能处理多种类型的数据。
• 单一Transformer模型：Emu3用一个从零开始训练的单一Transformer模型吃下所有类型的数据，架构简单了，效率也提上来。
• 自回归生成：做生成任务时，Emu3用自回归方式一个token接一个token地预测，图像和视频就是这样逐步长出来的。
• 图文理解：做图文理解时，Emu3先把图像编码成token，再生成描述图像内容的文本。

Emu3的项目地址

• 项目官网：emu.baai.ac.cn/about
• GitHub仓库：https://github.com/baaivision/Emu3
• HuggingFace模型库：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f
• 技术论文：https://baai-solution.ks3-cn-beijing.ksyuncs.com/emu3/Emu3-tech-report.pdf

Emu3的应用场景

• 内容创作：文字描述交给Emu3就能自动出图出片，艺术家和设计师的创意落地更快。
• 广告与营销：广告素材可以用Emu3生成，品牌宣传的画面成本降下来。
• 教育：Emu3能把复杂概念画成看得见的图，学生理解起来更直观。
• 娱乐产业：游戏和电影制作可以用Emu3搭虚拟环境，画面做得更逼真。
• 设计和建筑：设计原型和建筑渲染图交给Emu3来出，改方案时不用重画。
• 电子商务：在线零售商能用Emu3生成产品展示图，商品页的观感和挑选体验都更好。