DeepSeek-VL2 - DeepSeek最新开源的MoE视觉语言模型系列

发布于 2024-12-14 · DeepSeek-VL2是DeepSeek最新开源的一系列大型混合专家（Mixture-of-Experts，简称MoE）视觉语言模型，在前代 DeepSeek-VL 的基础上进行了显著改进。DeepSeek-VL2 在多种任务上展现出卓越的能力，包括但不限于视觉问题回答、光学字符识别、文档/表格/图表理解以及视觉定位。

DeepSeek-VL2是什么

DeepSeek-VL2是DeepSeek最新开源的一系列视觉语言模型，走的是大型混合专家（Mixture-of-Experts，简称MoE）路线，相比前代 DeepSeek-VL 有不少改动。DeepSeek-VL2 能做视觉问答、光学字符识别、文档/表格/图表理解、视觉定位这些任务。系列里有三个版本：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，激活参数分别是 1.0B、2.8B 和 4.5B。在激活参数差不多甚至更少的情况下，DeepSeek-VL2 的成绩跟现有开源密集型模型和基于 MoE 的模型比算是同一档，部分任务上还领先。模型于 2024 年 12 月 13 日正式发布。分辨率最高支持 1152×1152，1:9 或 9:1 这种极端长宽比也能吃，适配的场景多。另外 DeepSeek-VL2 专门学了不少科研文档，各种科研图表看得懂；Plot2Code 还能根据图像生成 Python 代码。

DeepSeek-VL2的主要功能

动态分辨率支持：DeepSeek-VL2 能处理高达1152×1152分辨率的图像，支持1:9或9:1这种极端长宽比，场景限制少。
图表理解：科研文档喂得多，DeepSeek-VL2 各种科研图表都看得懂。
Plot2Code：读图之后直接写代码，给一张图能出Python。
梗图识别：DeepSeek-VL2 能解析各种 Meme（梗图），不只是看字面。
Visual Grounding：零样本（Zero-shot）视觉定位，一句话描述，图里对应的物体就能圈出来。
Visual Storytelling：DeepSeek-VL2 能把几张图串成一条线，讲出一个视觉故事。

DeepSeek-VL2的技术原理

多头潜在注意力（MLA）：DeepSeek-VL2 的注意力用的是 MLA，靠低秩键值联合压缩把推理时的 KV 缓存瓶颈绕开，推理效率就上来了。
DeepSeekMoE 架构：DeepSeek-VL2 在前馈网络（Feed-Forward Networks，FFNs）里用的是 DeepSeekMoE，这套 MoE 架构成本压得住，训出来的模型还更强。
经济高效的训练和推理：DeepSeek-VL2 预训练用了 8.1 万亿 token，语料够杂质量也不差，之后靠监督式微调（Supervised Fine-Tuning，SFT）和强化学习（Reinforcement Learning，RL）把能力榨出来。跟 DeepSeek 67B 比，DeepSeek-VL2 把训练成本省了 42.5%，KV 缓存少了 93.3%，最大生成吞吐量提高到 5.76 倍。
支持长上下文窗口：DeepSeek-VL2 在 Needle In A Haystack（NIAH）测试里成绩不错，上下文窗口最长 128K。