多加 50% GPU，Rollout 只快 10.3%：Agent 训练的瓶颈开始从模型转向系统

「以棱镜之思，折射 AI 研究的多维光谱」——学术棱镜是奇点折射公众号推出的精品论文栏目，专注遴选全球顶会顶刊及产业前沿的优质研究成果。我们相信，每一篇扎实的论文都是照亮技术未来的光束，而棱镜，让光芒绽放出应有的色彩。

论文投稿请联系：zhanghy@csdn.net

责编 | 梦依丹

出品丨奇点折射（ID：rgznai100）

9 月 19 日，DeepSeek 在 arXiv 上传了一篇罕见的系统论文。它不是在介绍新模型，而是用 31 页篇幅公开了支撑 DeepSeek-V3.2 至 V4.1 Agentic RL 训练与评测的沙箱基础设施 。

一个 DSec 规模单元包含约 160 台 CPU 节点、3 万核和 250TB 内存，单日服务约 300 万个沙箱，生产环境峰值并发超过 38 万，创建速度超过 5000 个/秒。

这些数字揭开了 Agent 训练很少被讨论的一面：模型每一次调用工具、修改代码、执行命令和读取环境反馈，背后都需要一个隔离、可恢复、可验证的执行环境。

但当数十万个沙箱不断产生训练轨迹，另一个问题随之出现：这些轨迹，怎样才能更高效地送进大模型强化学习系统？

9月28日，中国科学技术大学、香港科技大学与阿里巴巴的研究者发布了一篇论文《PEARL: Adaptive Prefill–Decode Execution with Elasticity for Agentic Reinforcement Learning》 旨在处理 DSec 上层的另一块系统拼图 ——Agentic RL 中的 GPU 调度。

• 论文地址：https://arxiv.org/pdf/2609.35158

• 作者： Jiaan Zhu、Wei Gao、Youhui Bai、Zewen Jin、Ju Huang、Siran Yang、Jiamang Wang、Lin Qu、Cheng Li

Agent 训练最贵的，可能不是训练

Agentic RL 通常包含两个主要阶段：一个是 Rollout 负责让模型与环境多轮交互，生成训练轨迹，另一个是 Training 再利用这些轨迹更新模型。

与普通推理不同，Agent 每完成一次操作，环境都会返回新的观察结果。上下文不断增长，系统反复经历 Prefill、Decode、工具执行和环境等待。

论文实验显示，在 Qwen3-8B 的 SWE-bench 任务中，即便 Rollout 获得的 GPU 数量是训练阶段的 4 倍，它仍占端到端执行时间的 81.8%。

这意味着，训练 GPU 可能已经完成一次更新，Rollout 却还没有准备好下一批轨迹。昂贵的 GPU 只能停下来等待。

多加 GPU，为什么没有等比例变快？

最直接的办法当然是给 Rollout 增加 GPU。

但论文发现，将 Rollout 资源从 16 张 GPU 增加到 24 张，相当于资源增加 50%，Rollout 耗时却只下降 10.3%，继续扩展到 32 张 GPU，边际收益进一步下降。

原因之一是数据并行需要在每组 Worker 上复制模型权重。GPU 越多，每个 Worker 分到的轨迹越少，同样的权重读取成本反而更难被摊薄。

另一个问题来自 Prefill 与 Decode 的相互干扰。

Agent 每获得一段新的环境反馈，都需要执行新的 Prefill。即使使用 Chunked Prefill 和 Prefix Cache，频繁到来的 Prefill 仍会打断 Decode。

把 Prefill 和 Decode 拆到不同 GPU 上，也不一定永远更快。实验中，Batch Size 为 32 时，PD 分离比共置快 9.7%。到了 Batch Size 96，共置反而领先 6.1%。最合适的 Prefill 与 Decode 资源比例，也会随着负载和可用 GPU 数量变化。

PEARL 不只调 GPU 数量，还动态改变 GPU 角色

PEARL 的关键判断是：资源弹性与 Prefill–Decode 配置不能分开优化。

它把可用 GPU、Worker 状态和当前角色纳入统一视图，同时协调三类变化：

• 第一，动态接入或释放外部抢占式 GPU；

• 第二，在训练 GPU 空闲时，临时借给 Rollout 使用；

• 第三，根据实时负载，在 PD 共置、PD 分离以及不同 P/D 比例之间切换。

系统不会为了追求理论最优而频繁重配。PEARL 会同时估算 Worker 初始化、权重同步、未完成轨迹迁移以及 GPU 归还训练任务的成本。只有预期收益足以覆盖切换代价时，调度才会发生。

换句话说，PEARL 优化的不是某一次请求的最低延迟，而是一整批训练轨迹何时能够全部完成。

研究团队在最多 32 张 H800 上，使用 Qwen3-8B 和 Qwen3-30B-A3B 进行了 SWE-bench 实验，并回放真实的抢占式 GPU 可用性轨迹。

相比固定资源的 ROLL，PEARL 达到 2.17 至 2.79 倍吞吐。不过，这一数字同时包含获得额外弹性 GPU 的收益。

更公平的对比是：在使用相同外部弹性资源的条件下，PEARL 相比 RLBoost+，在 Qwen3-8B 上最高提升 26.9%，在 Qwen3-30B-A3B 上最高提升36.3%。

目前 PEARL 仍是 arXiv 预印本，实验主要覆盖两种模型、SWE-bench 任务与单一 H800 集群，其效果能否推广到更多模型和异构硬件，还需要进一步验证。

但它与 DeepSeek DSec 共同指向了一个越来越清晰的趋势：Agent 能力向前迈一步，系统软件就必须向下扎得更深。

DSec 解决 Agent 在哪里安全、规模化地执行。PEARL 解决这些环境产生多轮轨迹后，GPU 资源如何高效接力。从沙箱、状态保存到 Prefill–Decode 和 KV Cache 传输，Agent 训练正在变成一场完整的系统工程。

论文作者之一白有辉，2021 年获得中国科学技术大学计算机系统结构博士学位，曾任华为 2012 实验室主任工程师，现任中国科学技术大学特任副研究员，长期研究大模型分布式并行计算及训练、推理中的通信、内存与数据移动问题。

11 月 20—21 日，白有辉将出席 2026 C++ 及系统软件技术大会，带来《面向国产超节点的稀疏注意力驱动的 KVCache 管理系统》主题分享。

从 Agentic RL 的 GPU 弹性调度，到国产超节点上的 KVCache 容量扩展，他将在现场继续回答同一个问题：当模型规模和上下文持续增长，怎样通过系统设计，让有限算力真正转化为可用吞吐？