重新思考跨分词器在线蒸馏
提出跨分词器蒸馏应优先保证监督信号可靠性。
为什么重要
为跨分词器蒸馏的监督设计提供了可复现实验依据。
阅读原文arxiv.org
AI 解读（根据原文生成）
这篇论文研究不同分词器下的 On-Policy Distillation（OPD）：学生模型用自身生成内容训练，并接收教师反馈。作者在数学推理和代码生成的三组异构教师—学生组合上分析序列与词表对齐，发现严格 1:1 对齐已覆盖多数学生生成 token；仅在严格位置用学生选择的共享词表 top-16 子集做 reverse KL，可达到接近完整共享词表 OPD 的准确率并优于被评估基线。论文已在 arXiv 发布，未说明代码或权重开放。
要点（AI 据原文整理，数字均已与原文核对）
- 实验覆盖 three heterogeneous teacher--student pairs on mathematical reasoning and code generation。
- strict 1:1 groups already cover most student-generated tokens despite substantial vocabulary mismatch。
- shared vocabulary retains nearly all teacher and student probability mass at strictly aligned positions on average。
- Restricting reverse KL to a student-selected top-16 subset of the shared vocabulary achieves accuracy comparable to full shared-vocabulary OPD。
- 该 top-16 子集方法 outperforming the evaluated cross-tokenizer baselines。
- Adding mean squared error supervision on span log-probabilities in mismatch groups gives complete supervision coverage, yet reduces accuracy。