QwenGyre – 阿里千问推出的在线强化学习框架

发布于 2026-10-13 · QwenGyre 是阿里千问推出的超长程智能体在线强化学习框架，面向单次约 70 万 token、持续数小时的任务。QwenGyre用弹性调度在任务不中断时把空闲 GPU 在采样与训练间切换，用轨迹处理保留真实上下文、评估部分成果、去重共享前缀以控制成本。

QwenGyre 简介

QwenGyre 是阿里千问推出的超长程智能体在线强化学习框架，专门对付那种单次约 70 万 token、要跑好几个小时的任务。一边用弹性调度，任务不中断就能把空闲 GPU 在采样和训练之间来回切换；一边用轨迹处理，保住真实上下文、给部分成果打分、把共享前缀去重来控制成本。效果上，它在 Qwen3.8-2.4T 上跑 48 步，把 NL2RepoBench 通过率从 52.48% 提到 58.54%，比 Async 端到端快了 1.78×。

QwenGyre有哪些能力

超长程智能体在线强化学习：单次执行长达数小时、累计约百万 token 的任务，直接拿来做 RL 训练。
弹性 GPU 调度：不动正在跑的任务，把空闲 GPU 动态切到采样或训练两种角色之间。
请求重路由与 KV cache 迁移：GPU 换角色时智能体照常跑，工作区和工具状态都还在，KV cache 通过 RDMA 搬过去，少算很多重复的。
流式训练与新节点中途加入：核心 cell 持有权威参数，卫星 cell 随时拉一份快照就能加入进行中的批次，按进度领微批次。
轨迹树与真实上下文保留：每次调用的精确输入输出都用 Token-in Token-out 记下来，按共享前缀组织成轨迹树，每条输出对应的都是它生成时的上下文。
部分评分（Partial Scoring）：任务超时应了，但只要产出可检验的成果，照样按任务规则评分、拿来训练。
轨迹预算与损失均衡：每次执行最多留 Jmax 条轨迹，共享前缀的损失只算一次，分支多的任务不会被放大权重。

QwenGyre是怎么实现的

弹性调度（Elastic Scheduler）：把 GPU 切成若干同构计算单元，每个 cell 既可以用 SGLang 提供采样服务，也可以用 Megatron 承载完整训练副本。调度器盯着”水位”（未完成任务量）：只要剩下的采样容量够撑住正在跑的任务、训练数据也供应得上，就按序把 cell 一个个切进训练。切换时由代理把模型请求重定向到新的推理引擎，再重试没完成的请求，后端进程和通信组都不用重建。核心 cell 持有权威权重和优化器状态，卫星 cell 通过 RDMA 拉一份参数快照就加入当前批次的梯度累计，最后由核心统一汇总更新。这样一来，训练随数据就绪逐步扩容，采样和训练高度重叠。
轨迹处理（Trajectory Processor）：QwenGyre 让代理记下每次模型调用的精确输入/输出 token ID 和行为策略的对数概率，共享前缀复用、在分叉处建分支，组织成一棵轨迹树，确保每条输出都对应它生成时的原始上下文。训练准入时，按角色优先级给每次执行选不超过 Jmax 条轨迹，只有策略模型生成的 token 参与损失，共享目标只算一次；损失先在执行内对选中 token 取平均，再对执行取平均，执行的权重就和分支数量解开了。再配上 Partial Scoring，把超时任务的已完成部分也评估打分，超长程执行里那些稀疏又昂贵的有效信号就能尽量榨干。

怎么用上QwenGyre

QwenGyre 目前以论文形式发布，阿里还没有公开代码和安装包。

QwenGyre强在哪

首次实现旗舰模型超长程在线 RL：首次在 Qwen3.8-2.4T 上把单次约 70 万 token 的在线强化学习跑通了，48 步将 NL2RepoBench 通过率从 52.48% 拉到 58.54%。
训练效率大幅提升：同样的 GPU 预算，端到端加速最高 1.78×（对比 Async）、1.85×（对比 Colocate），48 步训练耗时从 134.55 小时压到 75.42 小时。
任务零中断的弹性调度：GPU 在采样和训练之间切换时，智能体执行、工作区、工具状态原封不动，切换只花几秒，对动辄数小时的执行来说基本可以忽略。
GPU 利用率最大化：细到 cell 级的资源分配，既消掉了 Colocate 模式等长尾时空转，也破掉了 Async 模式固定分区的僵化，训练能被采样完全隐藏。
真实上下文保真训练：TITO 机制让每条输出都对应生成时的原始上下文，历史压缩、子智能体上下文拼接搞出来的”虚假上下文”训练信号就此避免。