我们过度相信 AI 会拒绝
文章质疑用“拒答”机制约束大模型风险的可靠性。
为什么重要
提醒开发者和研究者审视拒答机制的局限与安全风险。
阅读原文technologyreview.com
AI 解读（根据原文生成）
MIT Technology Review 文章讨论现代 AI 被训练为对有害请求说“不”的做法。文中回顾 Anthropic 在 2021 年提出大语言模型应有帮助、诚实且无害，并指出公司会通过奖励拒绝有害问题、惩罚过度拒绝来微调模型，甚至用其他 AI 训练拒答和过滤提示。文章认为，模型仍保留暴力、网络攻击、操纵舆论等能力，而拒答机制具有概率性，可能被绕过，因此不应过度依赖 AI 的拒绝能力来控制风险。
要点（AI 据原文整理，数字均已与原文核对）
- In 2021, a team at Anthropic wrote that large language models should be made helpful, honest, and above all, harmless.
- Steven Adler worked on safety at OpenAI from 2020 to 2024.
- Companies submit models to exercises that reward refusing harmful questions and punish “over-refusing” harmless prompts.
- In many cases, companies use other models to run these exercises—AI teaching AI how to say no.
