Qwen2.5-1M - 阿里通义千问开源的语言模型，支持100万Tokens上下文

Qwen2.5-1M是什么

Qwen2.5-1M是阿里通义千问团队推出的开源模型，上下文长度支持到100万Tokens。系列里有两个模型：Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M。长上下文任务上的表现比之前的128K版本更好，任务长度超过64K时尤其明显。Qwen2.5-14B-Instruct-1M还击败了Qwen2.5-Turbo，在多个数据集上稳定超过GPT-4o-mini。短文本任务上，Qwen2.5-1M系列与128K版本基本持平，长序列处理能力加进来之后，基本能力没有掉。

Qwen2.5-1M的主要功能

• 长上下文任务处理：Qwen2.5-1M系列模型能处理长达100万Tokens的上下文，比之前的128K版本能装。在上下文长度为100万Tokens的Passkey Retrieval任务里，Qwen2.5-1M也能从1M长度的文档中把藏的信息准确找出来。
• 性能优势：Qwen2.5-14B-Instruct-1M赢了Qwen2.5-Turbo，多个数据集上都稳定超过GPT-4o-mini。
• 短序列任务处理：短文本任务上，Qwen2.5-1M的表现和128K版本差不多。多出来的长序列处理能力并没有拖累原本的基本功。

Qwen2.5-1M的技术原理

• 长上下文训练：Qwen2.5-1M的上下文长度是一步步加上去的，从4K扩到256K，训练过程分成几个阶段：
  • 预训练阶段：预训练从4K起步，逐级加到256K，同时用Adjusted Base Frequency方案，把RoPE基础频率从10,000提到10,000,000。
  • 监督微调阶段：分两步走。第一步只在短指令上微调，最长32K；第二步把短指令和长指令混在一起训练，长指令最多256K。
  • 强化学习阶段：强化学习阶段用的是短文本，最长8K。不过就算只在短文本上练，人类偏好对齐的效果也能带到长上下文任务里去。
• 稀疏注意力机制：预填充阶段要提速，Qwen2.5-1M引入了基于MInference的稀疏注意力优化，具体改了几处：
  • 分块预填充：输入序列按32768的长度切块，一块一块做预填充，显存需求降了不少。
  • 集成长度外推方案：稀疏注意力里还接了基于DCA的长度外推方案，推理效率和长序列任务的准确性都有改善。
  • 稀疏性优化：另外提出一种方法，在100万长度的序列上调优稀疏化配置，把稀疏注意力带来的精度损失压下去。
  • 其他优化：算子效率和动态分块流水线并行也做了优化，整个框架的潜力还能再挖。
• 长度外推：Qwen2.5-1M的上下文要从256K撑到1M，靠的是长度外推。Dual Chunk Attention（DCA）会把过大的相对位置重新映射成较小的值，长上下文里性能往下掉的问题就这么解决了。

Qwen2.5-1M的项目地址

• 项目官网：https://qwenlm.github.io/zh/blog/qwen2.5-1m/
• HuggingFace模型库：https://huggingface.co/spaces/Qwen/Qwen2.5-1M-Demo
• 技术论文：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf

Qwen2.5-1M的应用场景

• 长篇小说深入理解：一次能处理10本长篇小说，整本读完之后再做深入分析和理解。
• 多篇论文阅读：多篇论文可以一起读，研究人员找关键信息能快不少。
• 文学创作：写长篇的时候可以搭把手，给灵感，也给点能用的内容。
• 广告文案撰写：广告文案从它这儿出得很快。
• 教学辅助：教学上可以当辅助工具，帮学生把复杂概念捋明白。
• 数据分析：研究场景里，大量数据和文献可以交给它分析。