xGen-MM - Salesforce推出的开源多模态AI模型

xGen-MM是什么

xGen-MM是Salesforce推出的一款开源多模态AI模型，特长是处理交错数据：文本、图像这些类型能一起理解，也能一起生成。靠大量图片和文字训出来的xGen-MM，在视觉语言任务上的表现站得住，模型、数据集和微调代码库都开源，能力还在继续往上走。

xGen-MM的主要功能

• 多模态理解：图像和文本一起处理、一起理解，画面里的内容问一句就能答。
• 大规模数据学习：训练数据量大、种类也多，xGen-MM把丰富的视觉和语言模式都学到了。
• 高性能生成：xGen-MM不光读懂输入，还写得出来，一张图给它就能配描述或者直接作答。
• 开源可访问：模型、数据集、代码全部开源，研究人员和开发者拿去搭自己的应用没什么门槛。
• 微调能力：可以按自己的具体需求对xGen-MM做微调，换一个应用场景也对得上。

xGen-MM的项目地址

• GitHub仓库：https://github.com/salesforce/LAVIS/tree/xgen-mm
• Hugging Face模型库：https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5
• arXiv技术论文：https://arxiv.org/pdf/2408.08872

xGen-MM的技术原理

• 多模态学习：训练让xGen-MM同时吃图像和文本，视觉信息和语言信息能融到一起。
• 大规模数据集：训练用的是大规模、多样化的数据集，图片配上相应描述，素材给得够厚。
• 视觉令牌采样器：图像数据交给高效的视觉令牌采样器处理，比如Perceiver架构，不同分辨率的图都能按可扩展的方式接进来。
• 预训练语言模型：接上预训练的大语言模型，例如Phi-3，这类模型在海量文本上训过，语言理解能力很强。
• 统一的训练目标：训练过程简化了，只用一个自回归损失函数把模型训出来，学的就是多模态上下文里的文本令牌预测。
• 指令微调：指令微调让模型更懂用户的查询要怎么理解和执行，等于在预训练模型上针对特定任务再训一轮。
• 后训练优化：后训练阶段有直接偏好优化（DPO）和安全性微调，模型更有用、幻觉更少、安全性也更高。
• 开源和可定制性：xGen-MM的代码、模型和数据集都开源，社区按自己的需求定制、继续往下开发都可以。

xGen-MM的应用场景

• 图像描述生成：图片自动生成描述性文字，社交媒体发帖、相册管理这类场景用得上。
• 视觉问答：图像内容相关的提问能回答，教育、电商里给产品信息是常见用法。
• 文档理解：文档里的图和字都能解析，自动化文档处理、信息检索都接得住。
• 内容创作：创作时能搭一把手，故事板、设计概念图这类东西可以自动出。
• 信息检索：图像和文本结合起来检索，结果更相关也更准。