自回溯蒸馏：从事后经验到预先预见
用交互后的轨迹经验监督交互前的预见预测。
为什么重要
为奖励信号稀缺的 Agent 训练提供了利用事后轨迹的新监督方式。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 prospective learning，并以 Self-Retrospection Distillation（SRD）实例化：将已完成轨迹中揭示的有用知识和失败陷阱，蒸馏为同一策略在交互前、看不到轨迹时的 foresight 预测。该 foresight 仅作为训练目标，推理时不必显式生成。作者在 10 个工具集成推理和长程 Agent 任务上评估，SRD 可补充 RLVR 与自蒸馏基线，在奖励对比稀缺、rollout 组奖励一致时仍能利用轨迹学习信号。论文已在 arXiv 发布。
要点（AI 据原文整理，数字均已与原文核对）
- Across 10 tool-integrated reasoning and long-horizon agentic tasks, SRD complements RLVR and self-distillation baselines with gains of up to 24.2 pp.
- When 37--98% of rollout groups are reward-uniform across model scales, SRD can still exploit learning signal from sampled trajectories.
- In the 2B setting, where 98% of groups are all-failure, the RLVR training ends up at 0.0% success, while adding SRD reaches 60.6% under the same rollout budget.
