Qwen2.5-Omni - 阿里开源的端到端多模态模型

发布于 2025-03-27 · Qwen2.5-Omni 是阿里开源的 Qwen 系列旗舰级多模态模型，拥有7B参数，Qwen2.5-Omni具备强大的多模态感知能力，能处理文本、图像、音频和视频输入，支持流式文本生成与自然语音合成输出，能实现实时语音和视频聊天。

Qwen2.5-Omni是什么

Qwen2.5-Omni 是阿里开源的 Qwen 系列旗舰级多模态模型，7B 参数。Qwen2.5-Omni 的多模态感知能力比较全面，文本、图像、音频、视频都能输入，支持流式文本生成和自然语音合成输出，实时语音、视频聊天也能跑起来。它用的是 Thinker-Talker 架构：Thinker 负责处理和理解多模态输入，生成高级表示和文本；Talker 把表示和文本转成流畅的语音输出。多模态任务（比如 OmniBench）上 Qwen2.5-Omni 到了最新水平，各维度都超过 Google 的 Gemini-1.5-Pro 等同类模型。单模态任务（语音识别、翻译、音频理解等）表现也不错。Qwen2.5-Omni 在Qwen Chat上能免费体验。模型已经开源，开发者和企业可以免费下载商用，也能部署在手机等终端智能硬件上运行。

Qwen2.5-Omni的主要功能

文本处理：各种文本输入都能理解和处理，自然语言对话、指令、长文本都在内，多种语言支持。
图像识别：图像内容能识别、能理解。
音频处理：语音识别能把语音转成文本，语音指令也听得懂，输出则是自然流畅的语音。
视频理解：视频输入可以处理，画面和声音同步分析，视频内容理解、视频问答这些功能都能用。
实时语音和视频聊天：语音和视频流实时处理，聊天过程比较流畅。

Qwen2.5-Omni的技术原理

Thinker-Talker 架构：模型分成两块。Thinker 是“大脑”，处理和理解输入的文本、音频、视频等多模态信息，生成高级语义表示和对应文本；Talker 是“嘴巴”，把 Thinker 产出的表示和文本转成流畅语音。
时间对齐多模态位置嵌入（TMRoPE）：为了让视频输入的时间戳和音频对上，Qwen2.5-Omni 提出了新的位置嵌入方法 TMRoPE（Time-aligned Multimodal RoPE）。音频和视频帧交错组织，视频序列的时间顺序由此保证。TMRoPE 把时间、高度、宽度这三维位置信息编码进模型，做法是把原始旋转嵌入拆成三个分量。文本输入用相同的 ID，TMRoPE 的效果和一维 RoPE 一样。音频输入里每个 40ms 的音频帧用相同 ID，并引入绝对时间位置编码。图像输入里每个视觉标记的时间 ID 保持不变，高度和宽度 ID 按标记在图像中的位置分配。视频输入则把音频帧和视频帧的时间 ID 交替排列，时间对齐由此保证。
流式处理和实时响应：走块状处理，长序列的多模态数据拆成小块分别处理，延迟降下来。模型还引入滑动窗口机制，限制当前标记的上下文范围，流式生成的效率又高一些。音频和视频编码器用块状注意力，数据分块处理，每块大约 2 秒。流式语音生成用 Flow-Matching 和 BigVGAN，把生成的音频标记逐块转成波形，实时语音输出因此可行。
Qwen2.5-Omni 的三个训练阶段：
- 第一阶段：语言模型参数固定住，只训练视觉和音频编码器，喂大量音频-文本、图像-文本对数据，让模型先把多模态信息理解到位。
- 第二阶段：所有参数解冻，数据范围也更广，图像、视频、音频、文本混合着训，多模态信息的综合理解能力再往上走。
- 第三阶段：拿长序列数据（32k）训练，复杂长序列的理解能力跟着增强。

Qwen2.5-Omni的项目地址

项目官网：https://qwenlm.github.io/blog/qwen2.5-omni/
GitHub仓库：https://github.com/QwenLM/Qwen2.5-Omni
HuggingFace模型库：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
技术论文：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni
在线体验Demo：https://huggingface.co/spaces/Qwen/Qwen2.5-Omni-7B-Demo

Qwen2.5-Omni的模型性能

多模态任务：OmniBench 等多模态任务上达到先进水平。
单模态任务：语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU, MMStar）、视频理解（MVBench）、语音生成（Seed-tts-eval 和主观自然度）等多个领域，表现都不错。