LLM Agent 后训练中的后门持久性
研究后门在 SFT 与任务级 RL 后训练中的存活与增强方法。
为什么重要
提示开发者在适配第三方模型做 agent 时需检测继承后门。
阅读原文arxiv.org
AI 解读（根据原文生成）
这篇论文研究 LLM agent 供应链威胁：攻击者提供带后门的第三方模型，开发者再进行良性后训练。作者以软件工程 agent 为场景，考察后门是否能在监督微调（SFT）和后续任务级强化学习（RL）后保留。结果显示，SFT 会显著降低攻击成功率，但后续 RL 常会保留残余后门，有时还会提高攻击成功率。论文提出 PersistBD，在模型发布前精炼已植入后门的模型，以提升其穿过良性后训练的持久性。代码已在 GitHub 提供。
要点（AI 据原文整理，数字均已与原文核对）
- 研究聚焦于 software-engineering agents。
- benign SFT substantially reduces attack success。
- subsequent RL often preserves the residual behavior and sometimes even increases attack success。
- PersistBD refines an already-backdoored model before release to improve its persistency through the benign post-training process。
- On Qwen2.5-Coder-7B, PersistBD raises attack success from 20% to 74% after SFT and from 20% to 76% after SFT-RL。
- Our code is available at https://github.com/uiuc-kang-lab/PersistBD.
