disrouter.aiAI 情报台

disrouter.aiAI 情报台

论文arXiv cs.AI

递归推理器的输入条件搜索

通过搜索输入条件诱导不同更新映射,提升测试时推理扩展效率。

为什么重要

为递归推理器提供了更省 FLOPs 的测试时扩展思路。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 Input-Conditioned Search(ICS),用于递归推理器的高效测试时扩展。递归推理器可通过增加更新深度或扰动潜在状态生成更多轨迹来扩展推理,但两者可能收敛到错误吸引子。ICS 在不额外训练的情况下,对同一潜在状态施加不同更新映射,并通过搜索输入条件从预训练推理器中诱导替代更新映射。实验显示,在六个推理任务上,ICS 获得最高平均准确率,并比评测的扩展基线最多少用两个数量级的模型 FLOPs。论文已在 arXiv 发布。

要点(AI 据原文整理,数字均已与原文核对)

  • Across six reasoning tasks, ICS achieves the highest mean accuracy, while requiring up to two orders of magnitude fewer model FLOPs than the evaluated scaling baselines.
  • Controlled experiments confirm that ICS can redirect trajectories from the same state.
  • Theoretical analysis and rigorous numerical verification confirm that ICS can locally eliminate incorrect attracting fixed points.
  • Authors: Haochen Shi, Tianwen Fu, Qianggang Ding, Yinhan Lu, Yizhan Li, Huan Zhang, Yajie Zhao, Xingdi Yuan, Hengyang Lu, Bang Liu.

全部来源(1)

  1. [1]arXiv cs.AI(人工智能)

    递归推理器的输入条件搜索