BGE-VL - 智源研究院联合多所高校开源的多模态向量模型

BGE-VL是什么

BGE-VL 是北京智源研究院联合多所高校推出的多模态向量模型，用大规模合成数据 MegaPairs 训练出来。它盯着多模态检索这一件事做，比如图文检索、组合图像检索，靠高效的多模态数据合成方法把泛化能力和检索性能提上去。BGE-VL 系列有三个成员：基于 CLIP 架构的 BGE-VL-Base 和 BGE-VL-Large，以及基于多模态大模型架构的 BGE-VL-MLLM。多个基准测试里它的表现都不错，组合图像检索任务还刷新了现有基准，检索精度提升很明显。这套模型的核心优势，一是数据合成方法能扩展、质量高，二是模型在多模态任务上泛化能力强。

BGE-VL的主要功能

• 图文检索：给一段文字描述，能检索出最相关的图像；反过来给一张图，也能找到相关的文本信息。
• 组合图像检索：图像和文本指令可以同时输入，模型把两边的信息合起来理解，检索出的目标图像更准
• 多模态嵌入：图像和文本被映射到同一个向量空间，不同模态的数据就能靠向量相似度来比较、检索。
• 指令微调：用合成的多模态指令数据微调模型，复杂的多模态任务理解和执行得更好，泛化能力和任务适应性也跟着提升。

BGE-VL的技术原理

• 数据合成方法（MegaPairs）：
  • 数据挖掘：从海量图文语料库里挖多样化的图像对，用 CLIP 等多种相似度模型，找出和查询图像相关的候选图像。
  • 指令生成：让多模态大语言模型（MLLM）和大语言模型（LLM）生成开放域的检索指令——先总结图像对之间的关联，再把高质量的检索指令写出来。
  • 三元组构造：生成“查询图像、查询语句、目标图像”这样的多模态三元组数据，直接拿去训练。全程不需要人工标注，效率高，也能不断扩展。
• 多模态模型架构：
  • 基于 CLIP 的架构：BGE-VL-Base 和 BGE-VL-Large 用类似 CLIP 的架构，图像编码器和文本编码器把图像、文本映射进同一个向量空间，再用对比学习优化性能。
  • 多模态大模型架构：BGE-VL-MLLM 基于更复杂的多模态大模型架构，复杂的多模态交互和指令理解任务都归它处理。
  • 指令微调：用合成的多模态指令数据做微调，模型对多模态任务的理解和执行能力更强。
• 对比学习与优化：训练时模型通过对比学习打磨多模态嵌入的向量表示，相关的图文在向量空间里靠得更近，不相关的则推开。加上大规模合成数据的训练，模型学到的是更泛化的多模态特征，多种多模态任务里表现都好。

BGE-VL的项目地址

• HuggingFace模型库：https://huggingface.co/collections/BAAI/megapairs

BGE-VL的应用场景

• 智能搜索：传图片或输文字都能快速找到相关内容，搜索的精准度更高。
• 内容推荐：按用户上传的内容或兴趣推荐相似的图文资料，个性化体验做得更好。
• 图像编辑辅助：设计师可以快速找到风格相近的参考图，创作效率提上来。
• 智能客服：图像加文字一起理解用户的问题，给出的解决方案更直观，服务效率也高。
• 文化遗产研究：靠图文检索快速找到相关文物或研究资料，考古和文物保护工作能省不少劲。