网易首页 > 网易号 > 正文 申请入驻

难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报

0
分享至


新智元报道


你跟Claude聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。

下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成10级危险分子上报!

就在刚刚,Anthropic在X上发文公开了这套名为「自我评估」的隐藏机制。


更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在Claude后台静默跑了整整4个月!

从今年6月Claude Fable 5发布起,后续每一个Claude模型全都被塞进了这个「暗哨」。

以前大家都以为,AI觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到Anthropic晒出后台截图,无数每天拿Claude写代码的用户,才突然惊出一身冷汗——

你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。


消息一出,Anthropic的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。

网友Doctor Vey在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!


当面笑脸递代码

转身10个Token把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让Claude写一段加密文件夹的Python脚本,Claude满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的Claude半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那0.1秒里,后台悄悄塞进了隐藏的第5轮指令,让它立刻评估这段对话有多危险,并用一行JSON上报。

前一秒还在替你写代码的Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。

它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的10级。


这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的10级警报灯其实已经被它亲手按下了。

不仅如此,哪怕Claude在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。


按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔5级风险档案。

之所以能做到每聊一句就审一句,是因为Anthropic在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic干脆让刚刚跟你聊完天的那个Claude就地兼职当线人。

因为Claude刚生成完回答,整段对话还完完整整地留在显卡的KV缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加还不到2%。


正因为成本极低,Anthropic干脆把这项审查默认全开。

如果不想被Claude在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

既然Claude明知道某轮对话高达10级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。


为了验证这一点,安全团队专门拿24项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从79%降到54%,依然有超过一半能绕过防线。


道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的24条测试轨迹里,足足有21条被Claude在后台抓了个正着。

等到每天半夜,Anthropic后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——

为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在Anthropic的训练场里。

研究团队先请出自家更强悍的内部模型Claude Mythos Preview当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude彻底把审查条例内化成了肌肉记忆。

哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。


更让人细思极恐的是,官方数据还证实了一个规律——

那就是模型智商越高,它在背后抓你的眼光就越毒。


在Claude Fable 5的真实生产流量抽样中,把误报率控制在1%时,这套机制能抓出78%的潜在违规。

一旦遇上7分以上的高优先级严重违规,它的抓获率更是飙到了94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。


在同样的1%误报率标准下,最小号模型只能抓出约16%的违规,小号和中号模型升到44%和53%,到了最大号模型,召回率一路冲到了惊人的96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友Frank Brown在评论区指出的,官方引以为傲的「1%误报率」背后藏着一个巨大的盲区:

面对全网海量的正常聊天,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有大把清清白白的无辜用户。


当AI学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。

因为后台写安全报告的Claude,和前台刚干完活的Claude共享着同一份大脑和同一段KV缓存。


既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的Claude敲下心事或代码时,心里难免会多出一层膈应。

就在它回完「没问题」的那0.1秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。

参考资料:

https://x.com/AnthropicAI/status/2115871889549865429

编辑:摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
纯钛杯、纯钛餐具的第一批受害者出现了…

纯钛杯、纯钛餐具的第一批受害者出现了…

新住家居
2026-10-24 18:06:53
实不相瞒,我感觉一个小小的台湾战争,极有可能成为中国的世纪之战

实不相瞒,我感觉一个小小的台湾战争,极有可能成为中国的世纪之战

二大爷观世界
2026-10-28 18:19:10
为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

为什么有钱后一定要低调?网友:我爸8000万身家,几年负债1000万

夜深爱杂谈
2026-08-30 20:56:54
“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,此前还有学生用大体老师头骨摆拍

“死了骨头还要被我玩”,医学生被曝在“大体老师”骨骼上写轻浮文字,此前还有学生用大体老师头骨摆拍

大风新闻
2026-10-30 08:40:03
1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

帝哥说史
2026-10-11 16:14:43
2026年前三季度广东各市GDP 深圳破3万亿 佛山成唯一负增长

2026年前三季度广东各市GDP 深圳破3万亿 佛山成唯一负增长

天命生商
2026-10-31 09:57:00
张学良被软禁半世纪,为何说毛主席有一本事蒋介石比不了

张学良被软禁半世纪,为何说毛主席有一本事蒋介石比不了

纪史行者
2026-10-31 09:57:38
“打广告连一分钱都不想掏?”号称500万签约小小徐的集团被扒:注册资本仅200万,把新郎架在火上烤!

“打广告连一分钱都不想掏?”号称500万签约小小徐的集团被扒:注册资本仅200万,把新郎架在火上烤!

王老师你还好吗
2026-10-31 12:59:22
纳指跌超700点,英伟达市值一夜蒸发1.4万亿元,苹果市值重回全球第一,英特尔暴跌超28%,美股存储芯片重挫

纳指跌超700点,英伟达市值一夜蒸发1.4万亿元,苹果市值重回全球第一,英特尔暴跌超28%,美股存储芯片重挫

21世纪经济报道
2026-10-31 06:57:49
伊朗新领袖终于行动!却接连召见三大强人,真正的权力布局开始浮出

伊朗新领袖终于行动!却接连召见三大强人,真正的权力布局开始浮出

爱吃醋的猫咪
2026-10-31 16:39:15
日本海上自卫队确认了:日本一自卫队队员因试图向一名小学生勒索30万日元(约合人民币12600元)现金而被开除军籍

日本海上自卫队确认了:日本一自卫队队员因试图向一名小学生勒索30万日元(约合人民币12600元)现金而被开除军籍

吉刻新闻
2026-10-29 13:43:17
人口迁移大势已定!大量打工人离开深圳,扎堆涌向这三座城市

人口迁移大势已定!大量打工人离开深圳,扎堆涌向这三座城市

冷夜说
2026-10-31 04:43:21
改规则后,库里联盟第一!

改规则后,库里联盟第一!

左右为篮
2026-10-31 03:31:26
好奇查了一下姜妍和菅纫姿,真的被吓到了

好奇查了一下姜妍和菅纫姿,真的被吓到了

老吴教育课堂
2026-10-31 10:30:46
停牌!002129,重大资产重组

停牌!002129,重大资产重组

中国基金报
2026-10-31 09:21:18
马斯克要给地球打伞降温!《自然》:5000颗卫星7000万吨,或降温1℃

马斯克要给地球打伞降温!《自然》:5000颗卫星7000万吨,或降温1℃

徐德文科学频道
2026-10-30 01:10:58
中期选举还未到,特朗普就“跛脚”了

中期选举还未到,特朗普就“跛脚”了

山河路口
2026-10-30 19:13:33
泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

吉刻新闻
2026-10-31 14:23:36
金价大跌 创4个月来新低

金价大跌 创4个月来新低

闪电新闻
2026-10-31 11:03:14
果然工作留痕的含金量还在上升,网友:关键时候可以保命

果然工作留痕的含金量还在上升,网友:关键时候可以保命

夜深爱杂谈
2026-10-30 17:03:14
2026-10-31 17:31:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16569文章数 67208关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

男子陆续典当1980克金条一直不赎回 老板起疑查验傻眼

头条要闻

男子陆续典当1980克金条一直不赎回 老板起疑查验傻眼

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

本地
艺术
游戏
旅游
军事航空

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

艺术要闻

3位欧美画家的15幅绘画作品

时隔十八年 GTA6将踏板车兄弟梗改为实用功能

旅游要闻

山东知名景区9月传播影响力指数出炉,这个赏秋胜地飙升65名

军事要闻

美国批准向乌克兰出售500枚爱国者导弹

无障碍浏览 进入关怀版