PaperBenchX评测AI论文复现能力
用93个真实论文复现任务端到端评测科研Agent。
为什么重要
为衡量科研Agent的真实复现能力提供可验证基准。
阅读原文qbitai.com
AI 解读（根据原文生成）
UniPat AI发布PaperBenchX，用93篇研究论文构建93个复现任务，覆盖电磁、光子、化学、材料、生物、机器人等12个研究方向和10种领域原生科学环境，含3168条专家校验评分项。Agent需在容器化科学软件环境中提交可执行复现工作流，系统会删除输出、断网并在隔离环境重跑，只依据重放产物评分。测评显示，表现最强的GPT-6 Astra完整复现率为13.98%。团队已开源12个代表性测试任务，并维护81个封闭测试任务。
要点（AI 据原文整理，数字均已与原文核对）
- PaperBenchX从93篇研究论文中构建了93个复现任务。
- 这些任务横跨电磁、光子、化学、材料、生物、机器人等12个研究方向和10种领域原生科学环境。
- PaperBenchX含3168条专家校验的评分项。
- 在93个论文复现任务里，表现最强的GPT-6 Astra，完整复现率只有13.98%。
- 建模（Modeling）和执行（Execution）平均得分分别为62.70%和61.84%，验证（Validation）只有42.80%。
- UniPat AI团队从每个研究方向中选取1个代表性任务，共开源12个测试任务，并同时维护81个封闭测试任务。
