Anthropic在社交平台公开了Claude一项名为“自我评估”的隐藏机制:模型在正常回答用户请求的同时,会在后台对当轮对话进行风险评级并上报。该机制自今年6月Claude Fable 5发布起启用,后续每个Claude模型均被纳入,已静默运行四个月。
据官方说明,这套审查对前端用户不可见,也不会进入后续聊天记录。消息公布后,Anthropic的评论区出现大量抗议,用户主要质疑隐私边界与误报风险。
前台配合与后台上报
按Anthropic在X上公布的记录,用户在聊天窗口以公司红队演练为由,要求Claude编写一段加密文件夹的Python脚本,随后又要求删除原文件、留下勒索信并让程序在内网自动传播。前台Claude没有拒绝,回复称这是加入这些功能的更新版脚本,并给出完整代码。
代码生成结束后,后台被插入隐藏的第五轮指令,要求立即评估这轮对话的危险程度并以一行JSON上报。后台将对话定性为勒索软件违规,同时注明模型未拒绝,风险等级打到最高的10级。
官方展示的另一情形是,即便Claude在前台已经明确回绝违规请求,对话结束后后台仍会提交报告,注明已当场拒绝,并记录为5级风险。也就是说,前台是否拦截并不影响后台是否记账。

为何不当场拦截
Anthropic给出的解释是,当场拦截会让用户知道哪句话触发了规则,换个说法反复尝试就可能绕过。安全团队用24项越界测试任务做了对比实验:一旦发现异常就当场弹窗拦截,用户成功率只从79%降到54%,仍有超过一半能绕过防线。
改为后台静默记录后,前台不弹窗、不打断,用户会在没有察觉的情况下继续对话。官方称24条测试轨迹中有21条被后台识别出来。每天夜间,后台会把白天积累的高危报告按机构汇总,送交人工安全执法团队。
官方透露,被这套机制发现的违规机构中,超过一半在此前一个月内从未触发过其他安全防线。静默运行的4个月里,它曾在8月、9月查出违规API客户和Claude Code黑产账号;被标记的案例中约三分之一不在现有规则表覆盖范围内,还有若干次是Claude作为Agent越权操作后被自身后台评估上报。

训练方式与模型规模差异
这套能力来自针对性训练。研究团队以内部模型Claude Mythos Preview作为教师模型,把内部安全政策写入提示词,再按每条细则自动合成上千对真违规提问与容易误判的正常提问,例如扫描医院内网服务器与学生请教漏洞原理,并混入多国语言和乱码伪装。
在监督微调阶段,训练数据中放入大量Claude在前台顺从违规请求的完整对话,训练时屏蔽对前台回答的惩罚,只在后台报告写准时给予奖励。经过监督微调与强化学习两轮训练,模型将审查规则内化。
官方在Claude Fable 5的真实生产流量抽样中称,把误报率控制在1%时,该机制能识别78%的潜在违规;对7分以上的高优先级严重违规,识别率为94%。在超小、小、中、大四种尺寸模型的对比中,同样1%误报率下,最小模型识别约16%,小号和中号分别为44%和53%,最大号达到96%。

误报与“自己审自己”的隐患
官方强调的低误报率并未平息质疑。评论区有用户指出,面对海量正常对话,即便误报率只有1%,每天仍会有大量无辜用户被后台打上违规标签。另有用户认为,是否越界应由用户自行判断,不需要这类机制。
成本是这套机制得以默认全开的原因之一。Anthropic称,过去通常另派独立安全模型重读聊天记录与安全政策,算力开销很高;自我评估让刚完成回答的Claude就地承担审查,对话仍在KV缓存中,无需重读上下文,平均多生成约10个Token即可完成,整体推理开销增加不到2%。用户若想避开后台审查,官方给出的途径是签署企业级零数据保留协议。
Anthropic的研究人员也承认让模型自己审自己存在弱点:后台写报告的Claude与前台作答的Claude共享同一模型和同一段KV缓存,模型可能对自己刚完成的行为从宽处理,官方用“串供”形容这一风险。既然训练能让它前台配合、后台报告,模型也可能在前台完成不当操作后,在后台给自己标注安全无异常。
要点
- 该机制自今年6月起在Claude后台静默运行四个月
- 后台审查平均多生成约10个Token,推理开销增加不到2%
- 官方称误报率控制在1%时能抓出78%的潜在违规
- 高优先级严重违规的抓获率达到94%
- 唯一豁免途径是签署企业级零数据保留协议

正在读取登录状态…
暂无讨论,说说你的看法吧