QVQ - 阿里通义开源的视觉推理模型

QVQ是什么

QVQ是阿里基于Qwen2-VL-72B构建的开源多模态推理模型，把视觉理解和复杂问题求解放在一件事里做。它在视觉推理任务上明显更强，越是需要复杂分析思维的领域差距越看得清。MMMU评测拿到70.3的高分，几项数学相关的基准测试相比Qwen2-VL-72B-Instruct也有显著提升。QVQ想做的是一台能深度思考、能推理的全能模型，接得住复杂挑战，也参与科学探索。

QVQ的主要功能

• 多模态推理：文本、图像等不同类型的数据都能处理和理解，跨模态的信息可以融在一起推理。
• 视觉理解：能解析视觉信息，图像内容看得懂，也拆得开。
• 复杂问题解决：需要复杂逻辑和分析的问题也接，数学和科学领域尤其如此。
• 逐步推理：推理是一步一步走下来的，适合需要深入分析的问题。

QVQ的项目地址

• 项目官网：qwenlm.github.io/zh/blog/qvq-72b-preview
• HuggingFace模型库：https://huggingface.co/Qwen/QVQ-72B-Preview

QVQ的局限性

QVQ-72B-Preview是Qwen团队放出的实验性研究模型，专门强化视觉推理。整体表现超出了预期，但有几处限制要提前知道：

• 语言混合和代码切换问题：模型会突然在几种语言之间来回切换，输出的清楚程度和准确性受影响。
• 递归推理问题：容易陷进循环的推理模式，回答拉得很长，结论却出不来。
• 安全和伦理考虑：安全措施还需要加强，性能要够可靠够安全。部署时得多留个心眼，确认输出符合伦理和安全标准。
• 性能和基准限制：视觉推理确实有改善，但还替不了Qwen2-VL-72B的能力。多步视觉推理的过程中，模型会一点点松开对图像内容的关注，容易冒出幻觉。

QVQ的应用场景

• 教育和学习辅助：能给个性化的学习体验，复杂概念讲得明白，比如数学题和科学实验。
• 自动驾驶汽车：处理和解释车载摄像头采到的视觉数据，据此做驾驶决策。
• 医疗图像分析：帮医生看医学影像，X光片、CT扫描和MRI都在范围内，用来诊断疾病。
• 安全监控：分析监控视频，把异常行为和潜在的安全威胁挑出来。
• 客户服务：接在聊天机器人里提供多语言支持，理解并回应客户的查询。