书生·万象InternVL 2.5 - 上海 AI Lab 开源的多模态大语言模型系列

书生·万象InternVL 2.5是什么

书生·万象InternVL 2.5是上海AI实验室OpenGVLab团队推出的开源多模态大型语言模型（MLLM）系列。相比InternVL 2.0，这一代加强了不少，尤其体现在训练和测试策略、数据质量上。InternVL 2.5的模型规模从1B到78B都有，不同的使用场景和硬件需求都能找到对应档位。InternVL2_5-78B是第一个在多模态理解基准（MMMU）上得分超过70的开源模型，成绩盖过了ChatGPT-4o、Claude-3.5-Sonnet这些商业模型。InternVL 2.5的性能提升靠的是链式思考（CoT）推理技术，多学科推理、文档理解、多图像/视频理解等多个基准测试里，它的多模态能力都发挥得很足。

书生·万象InternVL 2.5的主要功能

• 多模态理解：文本、图像、视频这些不同模态的信息，都能处理和理解。
• 多学科推理：能在多个学科领域里做复杂推理、解决问题。
• 现实世界理解：对现实世界场景和事件进行理解和分析。
• 多模态幻觉检测：分得清哪些视觉信息是真实的、哪些是虚构的。
• 视觉地面化：把文本描述和图像里实际存在的对象对上号。
• 多语言处理：支持多种语言的理解和生成能力。
• 纯语言处理：文本分析、生成、理解这些语言任务都能执行。

书生·万象InternVL 2.5的技术原理

• ViT-MLP-LLM架构：视觉Transformer（ViT）和大型语言模型（LLM）结合起来，中间由MLP投影器衔接。
• 动态高分辨率训练：不同分辨率的输入都能适应，多图像和视频数据的处理也做了优化。
• 像素逆置操作：把视觉tokens的数量减下来，模型跑得更高效。
• 渐进式扩展策略：训练从小规模LLM起步，再逐步扩展到更大规模的模型。
• 随机JPEG压缩：模拟互联网上常见的图像退化，噪声图像来了模型也不容易翻车。
• 损失重加权：把不同长度响应的NTP损失做平衡，模型训练更稳。

书生·万象InternVL 2.5的项目地址

• GitHub仓库：https://github.com/OpenGVLab/InternVL
• HuggingFace模型库：https://huggingface.co/OpenGVLab/InternVL2_5
• arXiv技术论文：https://arxiv.org/pdf/2412.05271
• 在线体验Demo：https://huggingface.co/spaces/OpenGVLab/InternVL

书生·万象InternVL 2.5的应用场景

• 图像和视频分析：图像、视频内容的自动标注、分类和理解都用得上，安防监控、内容审核、媒体娱乐这些领域很常见。
• 视觉问答（VQA）：教育、电子商务、客户服务这些领域里，它能回答跟图像或视频内容有关的问题，体验更丰富。
• 文档理解和信息检索：法律、医疗、学术研究这些领域文档量大，它能提取关键信息，复杂的查询和研究工作也接得住。
• 多语言翻译和理解：InternVL 2.5支持多语言处理，跨语言交流、国际商务、全球化内容创作里都能出力。
• 辅助设计和创意工作：设计、创意产业里，它能帮着理解和实现复杂的视觉创意，比如建筑设计、广告创意。