CheckerBench：静态分析检查器基准
评测长程编码 Agent 从规范到仓库内实现检查器的能力。
为什么重要
为研究编码 Agent 的长程仓库级工具开发能力提供可执行评测。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 CheckerBench，这是一个可执行基准，面向静态分析检查器合成任务，要求 Agent 理解缺陷规范、检查代码仓库、实现分析器相关逻辑，并通过编译与分析反馈迭代改进。基准包含 300 个任务，来自 297 个 CVE、167 个仓库、85 个 CWE 和五种语言生态。作者还提出 CheckerLab 评测框架，可独立重建提交的检查器，并衡量 vulnerable-fixed 诊断对比、补丁定位、误报和工具使用。代码已在 GitHub 提供。
要点（AI 据原文整理，数字均已与原文核对）
- CheckerBench 包含 300 tasks，derived from 297 CVEs across 167 repositories, 85 CWEs, and five language ecosystems。
- Each task includes vulnerable and fixed revisions, a pinned analysis environment, and a checker scaffold.
- Across 21 model-harness configurations and three independent repeats per configuration, mean Pass@1 is 32.30%, while the best reaches 45.33%.
- arXiv 编号：2610.07557
- 论文发布日期：2026-10-06
- HF 点赞数：52