Kwai Keye-VL - 快手推出的多模态大语言模型

Kwai Keye-VL是什么

Kwai Keye-VL 是快手自己研发的多模态大语言模型，语言模型用 Qwen3-8B，视觉编码器由 SigLIP 初始化，输入分辨率是动态的。文本、图像、视频这些多模态信息它都能处理，模型里还带自适应交互机制和动态推理能力，快手想拿它做一套新的多模态交互方式。视频理解、复杂视觉感知、逻辑推理这几方面表现都不错，2025 高考全国数学卷还拿了 140 分。模型已经正式开源，做多模态研究和应用可以直接用。

Kwai Keye-VL的主要功能

• 视频理解：短视频里的场景、人物、动作都能分析，然后生成描述、打标签，或者做相关内容推荐。
• 图像识别与描述：图像细节自动拆解，物体、场景认出来之后写描述。
• 逻辑推理：复杂的逻辑推理任务里表现不错，数学题、科学推理都能接。
• 多模态交互：文本、图像、视频多种模态都能处理，模态之间的信息还能互相打通。
• 智能创作：看懂多模态内容之后，可以帮着写文案、脚本、创意方案。

Kwai Keye-VL的技术原理

• 模型架构：语言模型是 Qwen3-8B，配一个 SigLIP 初始化的视觉编码器。输入支持动态分辨率，图像按原始比例切成 14×14 的分块，视觉特征再由 MLP 层整合。文本、图像、视频统一走 3D RoPE（旋转位置编码），位置编码和时间戳一对齐，视频里的时序变化就抓得住。
• 预训练策略：视觉编码器先持续预训练，适应内部数据分布，动态分辨率输入也在这一步支持上。然后冻结主干，只训一个轻量 MLP 适配器，花很小的成本把图文、视频和文本的对齐关系搭起来。接着解锁全部参数做多任务联合训练，综合视觉理解能力往上提。再用精选的高质量数据精调，细节理解和判别能力继续打磨。最后试了同构异质融合：把不同数据配比退火训练出来的模型做参数平均，多维度能力留住了，模型偏差小一些，鲁棒性也更强。
• 后训练策略：
  • 非推理训练（No-Reasoning Training）：训练用了 500 万条高质量多模态 VQA 数据。多样性靠自研 TaskGalaxy 方案搭的任务体系撑着，里面包含 7 万种任务；质量则靠 AI 筛困难样本加人工标注来保。数据来源上，开源数据和自建偏好数据混着用。偏好数据是这么来的：SFT 的错误样本拿来当提问素材，Qwen2.5VL 72B 和 SFT 模型各出一份答案凑成答案对，最后人工排序。
  • 推理训练（Reasoning Training）：四种推理模式的训练数据混在一起喂，模型从零开始被激活思维链，先学会人那样一步步想。冷启动之后用 GRPO 做混合模式强化学习，奖励机制是双轨的，结果对不对和过程顺不顺一起看，多模态感知、数学推理、短视频理解、智能体协同这些能力都在这一轮里练。之后用 MPO 对着优劣数据对迭代几轮，内容重复崩溃和逻辑断层的问题基本压住了。最后模型能看问题复杂度自己决定要不要深想，性能和稳定性都有提升。

Kwai Keye-VL的项目地址

• 项目官网：https://kwai-keye.github.io/
• GitHub仓库：https://github.com/Kwai-Keye/Keye/tree/main
• HuggingFace模型库：https://huggingface.co/Kwai-Keye

Kwai Keye-VL的应用场景

• 视频内容创作：短视频创作者写标题、描述、脚本，都能让它先出一版。
• 智能客服：文本、语音、图像一起上的智能客服，用户问起来更顺手。
• 教育辅导：作业解答、知识点讲解都能做，辅导是跟着学生情况走的。
• 广告营销：广告文案和脚本能按需求生成，投放效果会好一些。
• 医疗辅助：医学影像可以帮着看，初步诊断建议也能给，医生省些时间。