少训练学更多：高效推理后训练
用不确定性引导的两阶段收缩减少推理后训练预算。
为什么重要
为降低推理后训练成本提供了可复现实验和开源代码。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文研究如何在不牺牲能力的前提下压缩推理监督，提出 uncertainty-guided progressive contraction 框架。方法围绕中间推理状态构建 Monte Carlo reasoning trees，形成带不确定性画像的 CoT 监督；先将原始语料收缩为紧凑的 teacher-informed pool，再在 SFT 中按学生模型学习状态进行在线路由。实验称该方法在多类推理基准和 LLM 家族上，以 full-data SFT 的 0.22% 优化预算、超过 450x 更少训练暴露维持或提升推理表现。论文和代码已给出链接。
要点（AI 据原文整理，数字均已与原文核对）
- 该方法围绕中间推理状态构建 Monte Carlo reasoning trees，以暴露 process-level uncertainty。
- 第一阶段用不确定性将原始语料收缩为 compact teacher-informed pool。
- 第二阶段在 SFT 中进行 online routing，按学生模型 evolving learning state 集中优化。
- 实验覆盖 diverse reasoning benchmarks and LLM families。
- 方法使用 as little as 0.22% of the optimization budget of full-data SFT。
- 训练暴露减少 over 450x，同时 maintaining or improving reasoning performance。