浙大&阿里提出接力式OPD方案，教师仅在跑偏时短暂修正！

智猩猩AI整理

编辑：金水

大模型蒸馏中，在线策略蒸馏（OPD）虽能有效缓解训练-推理分布偏移，却存在“前缀失效（Prefix Failure）”问题，学生模型一旦早期推理出错，后续整条轨迹都会持续跑偏，产生大量无效甚至有害的监督信号，既浪费算力又固化错误。

为解决这一核心短板，浙江大学联合阿里巴巴 Yuvion 团队提出了 Relay-OPD（接力式在线策略蒸馏）。它让学生模型自主生成，一旦检测到跑偏信号，教师模型短暂接管修正几段后立刻交还，整条接力轨迹再用于蒸馏。

在 8 套数学竞赛评测集上，1.7B 学生模型下 Relay-OPD 平均精度达 46.96%，超越标准 OPD 方法达5.73%、最强基线 FastOPD 达1.49%，而平均训练轨迹长度减少了50%以上。

• 论文题目：

  PASS THE BATON: TRAJECTORY-RELAYED ON-POLICY DISTILLATION

01

蒸馏真正的痛点

OPD 虽能让学生自己生成轨迹，但一旦早期出错，后续就会持续跑偏，产生大量无效甚至有毒的监督。现有方法要么一刀切、要么事后重写，都无法在出错瞬间精准干预，训练既费算力又容易固化错误。

研究团队发现师生“说话习惯”中的细微差别，当前缀已经错了，老师会下意识冒出 But、Wait、However 这类反思修正词，想把错误往回拉；学生却继续甩出 So、Now，顺着错误惯性往前冲。

这个分歧不需要任何额外标注或奖励模型，光看 token 概率就能抓到，论文把它叫作“切换触发点（Handoff Trigger）”。

抓住这个信号，才真正有机会在线上实时“接棒”，而不是事后补救。

02

接棒！让老师只在关键时刻出手，

学生自己把推理跑完

OPD 的好处是让学生“自己走路”，可一旦早期踩空，整条路就废了。

Relay-OPD 的思路很直接，学生照常自己生成，系统实时盯着有没有跑偏信号；一旦发现，老师短暂接手改一两段，改完立刻交回学生。

整条“接力轨迹”再拿去做蒸馏，实验具体分一下三个部分。

1. 抓切换触发点（Handoff Trigger）

论文列了一组常见的反思词，包括Wait、But、Hmm、However、Oops 之类。

如果老师最想说的是这些反思词，而学生前几名候选里一个都没有，系统就判定学生已经顺着错误惯性往前冲了，立刻触发教师接管。

不需要额外标注，不需要奖励模型，纯靠 token 概率就能抓住这个分歧点。简单说，就是老师想喊“等等”，学生却还在说“所以继续”，这时候该接棒了。

2.构造接力轨迹

论文设了个“接力预算”(M, L)，即最多让老师出手 M 次，每次最多生成 L 段（一段大概二十多个 token）。学生自己生成时一路检测，触发了且预算还没花完，老师就先吐出反思词，再补上几段修正推理，然后把控制权交回学生。预算用完就直接结束这条轨迹。

实际下来，老师生成的 token 占比最低可以压到 0.35%，干预高度集中在早期失效位置，学生主体轨迹几乎没被破坏。既改了错，又没抢走学生“自己走路”的主导权。

3.优化损失函数

整条接力轨迹（学生段 + 教师段）统一用反向 KL 的单样本优势损失来更新。

教师写的那几段修正会直接参与梯度，学生就能顺便学到“出错了该怎么回头”。

因为用的是模式寻求的 RKL，而不是硬贴教师分布的 FKL，学生只会有选择地吸收纠错信号，不会把老师的风格全盘照搬。

把“老师全程盯着”改成“老师只在关键时刻伸一次手”，既保住了 OPD 的在线分布优势，又把前缀失效带来的无效监督大幅砍掉。

03

Relay-OPD设计

1、实验配置

实验部分，团队用 Qwen3-4B-Instruct-2507 当老师，分别在 Qwen3-0.6B 和 1.7B 两个非思考版学生模型上验证。

训练数据取自 DAPO-Math-17K 的英文数学子集，只跑 1 个 epoch。

覆盖 AIME2024/2025/2026、MATH500、AMC2023、OlympiadBench、HMMT Feb26 和 Nov25 共 8 个数学竞赛集，其中AIME/AMC/HMMT 每条问题采样 32 次；MATH500/OlympiadBench 采样 4 次。

训练在 8 张 H100 上用 verl + vLLM 完成，最大响应长度 16384。

Relay-OPD 的固定超参是 K=5、接力预算 (M=2, L=3)，全程不依赖任何外部校验工具或标签。

2、工程实现要点

• 三状态切换逻辑

解码状态只有三种：学生生成（S）、教师生成（T）、终止（⊥）。

转移规则就是当学生状态时触发了，且接管次数还没超预算就需要切到教师；当教师状态跑完 L 段，预算还没满则交回学生；当教师状态跑完 L 段且预算用尽就终止；其他情况保持当前状态。

如果把 L 设成 0，教师就只吐一个反思 token，极简修正。

• 统一 token 生成

学生模型草稿无条件接受，等价原生学生解码，教师段则标准推测拒绝采样。学生先出草稿 ，接受概率为 ，当随机数大于 就拒绝，从教师残差分布重新采样。

教师段首token需要特殊处理，即直接输出触发条件得到的反思词 ，无需验证。

• 效率上的小巧思

教师算 logits 的同时顺手把触发条件 也算了，几乎零额外开销。

块级验证时，一旦遇到状态切换点，后面的草稿直接丢掉，保证逐 token 语义正确。

每轮参数更新后，把最新学生权重同步到 draft 模型，教师全程冻结。因为推测采样本身数学上等价，教师段就等于纯教师生成，学生段就等于原生学生生成，算法效果无损。

整套流程跑下来，既把“接棒”做进了在线生成，又把工程开销压到最低，真正能落地。

04

性能评估

1、核心结果

1.7B 学生模型用 Relay-OPD，平均精度跑到 46.96%，比标准 OPD 高 5.73%，比之前最强的 FastOPD 还多 1.49%。

高难度 AIME 上提升尤其明显，AIME25 +7.29%，AIME26 +7.19%。

0.6B 小模型也是同样趋势，Relay-OPD 相对 OPD 精度提升 3.01%，照样压过 FastOPD。

八个数学竞赛集全拿下最优或次优，没有短板。

精度上去的同时，训练成本反而下来了。

1.7B 学生模型平均训练长度只有 2296 token，比 OPD 少了 50.7%，比 FastOPD 还短；0.6B 更夸张，直接砍掉 63.9%。

最优 checkpoint 出现得也更早，Relay-OPD 35 步就到顶，OPD 要 55 步，FastOPD 45 步。

AIME25 生成长度少 17.9%，AIME26 少 14.2%，HMMT Feb26 更是少了 28.3%，实现训练和推理双降本。

在 HMMT 上测不同采样次数（8 到 128），Relay-OPD 的 Pass@k（采样次数越多，优势越稳）全程明显高于标准 OPD。

老师偶尔插手修正，等于给学生多开了几条推理路径，策略熵被撑开了，模型不再死磕单一错误思路，多样性自然上来。

2、训练动态

论文中还做了训练动态检测，发现越练越独立，老师出手越来越少，前期大概 75%–85% 的轨迹会触发教师接管，后期降到 50%–60%。

说明学生自己踩坑的次数在减少。

教师 token 占比从初始的 13% 很快掉到 2%–3%，模型自主纠错能力明显增强。

整个过程中 Relay-OPD 的策略熵一直高于 OPD 和 FastOPD，老师那几下修正，确实把学生从“只会一条死路”里拉了出来。

3、 消融实验

有人可能会想，既然发现跑偏了，直接截断不就行了？

可只触发就停（Trigger-Stop）平均精度只有 43.48%；加上 L=3 的教师修正段后，直接跳到 46.25%，多出 2.77 个点。

说明真正起作用的不是“少生成几步”，而是老师那几段局部纠错上下文。学生需要看到“出错了该怎么回头”，而不是单纯被掐断。

针对损失函数怎么选择也进行了消融实验，发现在完整接力轨迹上用 RKL 单样本优化，精度最高，达到 46.96%。如果只用学生自己的草稿 token 算损失，掉到 44.56%；换成教师前向 FKL，更是只有 44.08%。

RKL 的好处是模式寻求，学生只会有选择地吸收纠错信号，不会硬去贴合老师的整个分布，刚好契合“接力”这种局部修正的设定。

05

总结

写到这里，其实更能看清一件事，在线蒸馏真正难的地方，不是“让老师多说几句”，而是怎么在不破坏学生自身分布的前提下，把纠错信号精准送进去。

Relay-OPD 能跑赢，核心就在它抓住了“师生说话习惯的分歧”，用极低成本完成了局部示范。

当然，这套方法也不是万能的。目前只在数学推理上验证过，换到代码或智能体场景，反思词集合肯定得重新摸；师生能力差距太小时，增益也会明显变弱；换模型家族还得重新调预算和触发阈值。

关注+星标，获取AI前沿进展与优质开源项目