验证工具调用参数的推导差距
指出工具调用评审会偏向输入中可见的参考值。
为什么重要
提示工具调用验证需处理隐藏来源和默认值带来的评审偏差。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文研究 LLM Agent 工具调用中参数值评审的问题：当评审输入中没有说明正确值的参考文本时，正确参数更不容易被接受，作者将这种接受率下降称为 derivation gap。该现象出现在评估的七个 judges 中，包括 System One models CLM 和 Jev。作者还通过受控 source-relocation 测试发现，评审会偏向可见的错误值而非来源隐藏的正确值。论文提出 DeRef，由独立模型读取完整历史并为评审写出参考；在三个基准上提升所有测试 judges 的整体 argument AUROC。论文可通过 arXiv 获取。
要点（AI 据原文整理，数字均已与原文核对）
- 该现象出现在评估的 seven judges 中，包括 System One models CLM and Jev。
- 正确 default values 在一个 no truncation 的 benchmark 上出现最大的 gap。
- DeRef 在 three benchmarks 上提升所有测试 judges 的整体 argument AUROC。
- 在 controlled test 上，DeRef 将 AUROC 从 chance or below 提高到 between 98.40 and 99.59。