Qwen2.5-VL - 阿里通义千问开源的视觉语言模型

Qwen2.5-VL是什么

Qwen2.5-VL 是阿里通义千问团队开源的视觉语言模型，规模有3B、7B和72B三档。视觉理解是它的底子：常见物体认得出来，图像里的文本、图表这些元素也能分析。Qwen2.5-VL 还能直接当视觉 Agent 用，自己推理、动态调工具，电脑和手机上的操作算是能上手了。视频这块，超过1小时的长片能看懂，相关片段也能定位到。发票、表单这类数据支持结构化输出。性能测试里，Qwen2.5-VL-72B-Instruct 在多个领域和任务上成绩不错，文档和图表理解尤其突出；7B 版本在多项任务中超过了 GPT-4o-mini。

Qwen2.5-VL的主要功能

• 视觉理解：花、鸟、鱼、昆虫这类常见物体认得出来，图里的文本、图表、图标、图形和布局也能拆。
• 视觉Agent能力：可以直接当视觉 Agent，边推理边调工具，电脑和手机上的操作已经能上手。
• 理解长视频和捕捉事件：超过1小时的片子能看懂，事件对应的片段也能定位出来。
• 视觉定位：生成bounding boxes或者points就能把物体框准，坐标和属性的JSON输出也稳。
• 结构化输出：发票、表单、表格里的内容可以直接出成结构化数据。

Qwen2.5-VL的技术原理

• 模型结构：结构上沿用上一代 Qwen-VL 的路子，ViT 接 Qwen2 串起来。Qwen2.5-VL 三个规模的模型用的都是 600M 的 ViT，图像和视频统一走一个输入口，视觉和语言信息融得更顺，多模态数据理解起来也就更好。
• 多模态旋转位置编码（M-ROPE）：Qwen2.5-VL 的 M-ROPE 把旋转位置编码拆成时间、空间（高度和宽度）三部分，一维文本、二维视觉、三维视频的位置信息能同时抓，多模态处理和推理就靠这个。
• 任意分辨率图像识别：Qwen2.5-VL 对各种分辨率、各种长宽比的图都能读，清晰度高低、尺寸大小都不影响。靠 naive dynamic resolution 那套支持，任意分辨率的图会映射成数量可变的视觉 token，输入和图像信息就对得上了。
• 网络结构简化：跟 Qwen2-VL 比，Qwen2.5-VL 对时间和空间尺度的感知更强了，网络结构还减了些，跑起来更省。
• 模型推理能力提升：几个权威测评里，同等规模的开源模型数 Qwen2.5-VL 成绩最好，文档理解这块优势尤其明显。跟 GPT-4O、Claude3.5-Sonnet 这些闭源模型比，Qwen2.5-VL 在大部分指标上都不落下风。

Qwen2.5-VL的项目地址

• 项目官网：https://qwenlm.github.io/blog/qwen2.5-vl
• GitHub仓库：https://github.com/QwenLM/Qwen2.5-VL
• HuggingFace模型库：https://huggingface.co/collections/Qwen/qwen25-vl

Qwen2.5-VL的应用场景

• 文档理解：Qwen2.5-VL 在文档和图表上是强项，当视觉 Agent 直接操作就行，不用为某个任务专门微调。
• 智能助手：当助手用，订机票、查天气这类事都能办。
• 数据处理：Qwen2.5-VL 支持发票、表单、表格的内容直接出成结构化数据。
• 设备操作：手机、网页平台、电脑都能操作，想做一个真正能动手的视觉代理，这套能力是个不错的起点。
• 物体定位：Qwen2.5-VL 生成 bounding boxes 或者 points，图里的物体就能定位准，坐标和属性的 JSON 输出也稳定。