Autonomous Science Bench 评测科学发现智能体
用六个有预算实验活动评测智能体主动科学发现能力。
为什么重要
为研究科学发现智能体提供了更接近主动实验的评测设置。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 Autonomous Science Bench，用于评估面向自主科学发现的 AI agents 在有限预算下选择实验的能力。初始版本包含六个基于已发表实验的 design-build-test-learn 活动，覆盖生物、化学和材料科学。智能体分批选择设计，从 lab service 获得测量结果，并据此迭代，最后提交预测模型。评测包含 discovery gate 与 learning gate 两个校准关卡。作者发布了 version 0.1 的 campaigns、lab runtime 和 public leaderboard。
要点（AI 据原文整理，数字均已与原文核对）
- 初始版本包含 six budgeted design-build-test-learn campaigns。
- 这些 campaigns grounded in published experiments across biology, chemistry, and materials science。
- Agents select batches of designs, receive measurements from a lab service, and use the results to guide subsequent experiments。
- Success requires passing two calibrated gates: a discovery gate and a learning gate。
- In a pilot evaluation of eight agent-model configurations and 144 trials, the best configuration succeeds in 67% of trials。
- The hardest campaign is solved in only three of 24 attempts。