[LG]《Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning》Z Hou, Y Li, J Tang, Y Dong [Tsinghua University] (2026)

在智能体（Agentic）强化学习领域，长序列任务的异步训练是一个悬而未决的难题。过去的方法受困于 GPU 算力利用率低和训练崩溃，本质原因是传统同步架构（如 GRPO）在等待长轨迹反馈时会产生巨大空转，而异步环境下的“策略滞后”会导致严重的离策（Off-policy）偏差。

本文的核心洞见是：把异步训练从“群体采样”重新看作为“单样本即时优化”。由此，引入双侧令牌级剪切（DIS）以消除旧策略追踪负担，配合“快于策略更新”的价值模型训练和“跳过环境观测”的优势估计（GAE），使模型能在单条轨迹完成后立即稳定进化。

这项工作真正留下的遗产是证明了价值模型在超大规模 Agent 训练中不可替代的稳定性价值。它为后来者打开的新门是在线学习与动态环境适应的可能性（如 GLM-5.2 的成功部署），但尚未跨过的门槛是单样本估计在高噪声奖励环境下的方差极值挑战。

arxiv.org/abs/2607.07508 机器学习 人工智能 论文 AI创造营