BAGEL - 字节跳动开源的多模态基础模型

BAGEL是什么

BAGEL 是字节跳动开源的多模态基础模型，140亿参数，其中70亿是活跃参数。架构用混合变换器专家（MoT），两个独立编码器分别抓图像的像素级和语义级特征。训练遵循“下一个标记组预测”的范式，预训练数据是海量多模态标记，语言、图像、视频、网络数据都有。多模态理解的基准测试里，它超过了 Qwen2.5-VL、InternVL-2.5 这类顶级开源视觉语言模型；文生图的质量和 SD3 相当，图像编辑场景也比不少开源模型强。自由形式的图像编辑、未来帧预测、三维操作、世界导航，这些任务它都能做。

BAGEL的主要功能

• 图像与文本融合理解：图像和文本之间的关系它摸得清，图像内容和文字描述能对上。
• 视频内容理解：视频数据也能处理，画面里的动态和语义都读得懂，关键信息抓得住。
• 文本到图像生成：给出文本描述就能出图，和描述对得上，质量也不差。
• 图像编辑与修改：现有图像可以改，按指令生成修改后的版本，编辑方式不受固定模板限制。
• 视频帧预测：给视频的前几帧，它能把后面的帧续出来，断掉的视频也能补全。
• 三维场景理解与操作：三维场景它能理解也能操作，识别、定位三维物体，在虚拟环境里挪动物体、改属性都可以。
• 世界导航：它还能做世界导航，在虚拟或现实的三维环境里规划路径。
• 跨模态检索：跨模态检索也行：用文字找对应的图像或视频，或者拿图像去找相关文字。
• 多模态融合任务：多模态融合任务里，图像、文本、语音这些不同模态的数据能合到一起，产出综合结果。

BAGEL的技术原理

• 双编码器设计：混合变换器专家架构（MoT）里有两个独立编码器，一个管图像的像素级特征，一个管语义级特征。两路一起走，低层次细节和高层次语义都能兼顾。
• 专家混合机制：MoT 的每个编码器里都有一批专家（Expert）模块，可以理解为各管一类特征或任务的小型子网络。训练时动态挑最合适的专家组合，复杂的多模态数据处理起来更省力。
• 标记化处理：图像、文本这些输入都会先变成一串标记（Token）。图像切成多个小块（Patch），每块算一个标记；文本则按单词或子词切。
• 预测任务：训练目标是预测下一个标记组，看一段标记序列，猜后面接什么。
• 压缩与学习：这个任务逼着模型去压缩、理解输入里的关键信息，多模态数据的内在结构也就慢慢学出来了。
• 海量数据：预训练用了数万亿个多模态标记，来自语言、图像、视频和网络数据。场景和领域铺得很开，模型能学到的特征和模式也就广。
• 优化策略：训练时用了混合精度、分布式这些优化手段，效率和性能都照顾到了。

BAGEL的项目地址

• 项目官网：https://bagel-ai.org/
• Github仓库：https://github.com/bytedance-seed/BAGEL
• HuggingFace模型库：https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
• arXiv技术论文：https://arxiv.org/pdf/2505.14683

BAGEL的应用场景

• 内容创作与编辑：写段文字就能出高质量图像，现有图片也能拿来改。
• 三维场景生成：三维场景能生成，VR 和 AR 应用的视觉素材有了来源。
• 可视化学习：复杂概念可以用图像或视频讲出来，学生理解起来容易些。
• 创意广告生成：广告商可以拿它做广告图和视频，比如按产品特点出海报或短视频。
• 用户交互体验：电商平台上，产品的 3D 模型和虚拟展示能直接生成，购物时看得更清楚。