InternVL3 - 上海 AI Lab 开源的多模态大语言模型

InternVL3是什么

InternVL3 是上海人工智能实验室开源的多模态大语言模型（MLLM），多模态感知和推理是它的强项。这个系列从 1B 到 78B 一共 7 个尺寸，文字、图片、视频都能一起处理。InternVL3 用的是原生多模态预训练，把语言学习和多模态学习放进同一个预训练阶段，多模态能力上去了，纯语言能力也跟着强。训练上还用了混合偏好优化算法和多模态测试阶段增强，推理能力提升不少。

InternVL3的主要功能

• 多模态感知与推理：InternVL3 能同时处理文本、图像和视频，多模态感知和推理能力都拿得出手。
• 扩展的多模态能力：多模态能力还往外扩了，工具使用、GUI 代理、工业图像分析、3D 视觉感知这些场景都能覆盖。
• 原生多模态预训练：InternVL3 用原生多模态预训练，把语言和多模态学习并到同一个预训练阶段，多模态和纯语言能力一起涨。
• 长上下文理解：集成了可变视觉位置编码（V2PE）后，InternVL3 在长上下文理解上表现更好。
• 高效部署与调用：InternVL3 用 LMDeploy 的 api_server 就能部署成 OpenAI 兼容 API，调用时照 OpenAI 那套接口写就行。

InternVL3的技术原理

• 原生多模态预训练：InternVL3 走的原生多模态预训练，把语言学习和视觉学习放进同一个预训练阶段。传统做法是先单独训语言模型、再适配多模态任务，InternVL3 没走这条路：大规模多模态数据（图像-文本、视频-文本序列）直接和纯文本数据混着训。统一训练下来，模型同时学到语言和视觉表示，处理视觉语言任务更高效，也不需要额外的对齐模块。
• 监督微调：微调阶段，InternVL3 用了随机 JPEG 压缩、平方损失重加权、多模态数据打包这些技术。和InternVL2.5相比，InternVL3 把高质量训练样本又扩了一批，工具使用、3D 场景理解、GUI 操作这些领域都覆盖到，复杂场景下的稳健性也更强。
• 混合偏好优化：InternVL3 引入了 MPO，把偏好损失、质量损失和生成损失合在一起，推理性能提升明显。MPO 还给正负样本加了额外监督，输出更贴近真实分布，推理时的偏差小一些。
• 动态预处理与多模态输入处理：InternVL3 的预处理是动态的，按输入图像的宽高比调尺寸，再切成多个小块，正好对上模型的输入要求。多图、视频这些多模态对话场景都支持，复杂的多模态任务也处理得来。

InternVL3的项目地址

• HuggingFace模型库：https://huggingface.co/OpenGVLab/InternVL3-78B
• 技术论文：https://huggingface.co/papers/2504.10479

InternVL3的应用场景

• 图像和视频理解：图像分类、目标检测、视频描述生成这些任务，InternVL3 都能做，喂进去图像或视频就能出详细描述，内容创作和自动化编辑可以直接用。
• 智能交互与工具使用：有工具使用和 GUI 代理能力，可以当图形用户界面（GUI）智能体，照着指令去操作电脑或手机上的专业软件。
• 工业图像分析与3D视觉感知：InternVL3 的多模态能力延伸到了工业图像分析和 3D 视觉感知，复杂的工业场景图像能处理，建筑图纸理解、空间感知推理这些任务也支持。
• 智能客服与语言模型应用：InternVL3 的语言生成能力不错，拿来搭智能客服系统，客户支持的效率和准确度都能提上去。