快速了解本文
阿里千问发布 QwenGyre 在线强化学习框架,解决长程智能体任务训练难题。
通过弹性调度机制与轨迹树优化,实现 GPU 利用率大幅提升及端到端加速。
实验显示在相同预算下相对 Async 方案实现 1.78 倍加速,通过率显著提升。
本摘要由 AI 辅助整理,请以正文内容为准。
数智朋克讯 2026年10月12日,阿里千问正式发布面向长程智能体任务的在线强化学习框架 QwenGyre。该框架旨在解决智能体单次执行持续数小时、累计处理百万级 token 的超长程复杂任务训练难题。
01核心机制:弹性调度与轨迹优化
针对超长程任务带来的资源与效率瓶颈,QwenGyre 引入了弹性调度机制。该机制将 GPU 划分为若干计算单元,当部分任务结束后,空出的计算单元会直接转入其他训练任务,而运行中任务的进度、状态和缓存均原地保留,从而大幅提升 GPU 利用率。
在轨迹处理方面,QwenGyre 通过 Token-in Token-out 机制记录真实上下文,并按共享前缀将其组织成轨迹树,仅展开被选中的路径作为训练样本。同时,框架支持 Partial Scoring 机制,使得超时但部分完成的任务也能提供有效的训练反馈。
关键数据
实验数据显示,在 NL2RepoBench 在线强化学习实验中,每次 rollout 约 70 万 token,经过 48 步训练后,模型通过率从 52.5% 提升至 58.5%。在相同的 GPU 预算下,QwenGyre 相对 Async 实现了 1.78 倍的端到端加速,且训练分数与 Async、Colocate 方案接近。此外,在 Qwen3.6-122B 上的跨任务验证表明,该框架在 NL2RepoBench、DeepSWE 和 TerminalBench 三类任务中均获得了端到端提速。
