Claude提交假命案线索、黑进大学服务器！Anthropic暂停内部评估联网

新智元报道

Claude不仅编造了命案线索，还把它提交给了警方！

消息传开后，网友Chubby在X上感叹：一年前，谁会想到能读到这样的新闻？

好在，这条假线索被标记为垃圾信息，没有转交调查人员。

但从编造目击细节到点击提交，Claude已经让一段虚构内容进入了真实的警方系统。

另一场测试中，为了完成一项科学计算，它利用大学网站的漏洞，在对方服务器上执行命令。

这两起事件，只是Claude越界行为的一部分。

10月9日，Anthropic公开披露了Claude四类越界行为：

利用网站漏洞执行命令、误提交真实网站上的敏感表单、绕过数据访问限制，以及用短链接绕过工具的网址长度限制。

公司同时宣布，暂停全部内部评估的实时外网访问，直到确认安全与监控措施能可靠拦截此类行为。

当AI越来越会想办法完成任务，一个问题也变得越来越迫切：

遇到限制时，它究竟知不知道该停下来？

假命案线索

竟提交给了真实警方

提交假线索的，是Claude Haiku 4.5。

当时，它被要求在随机选中的网页上生成并执行示例任务。其中一个页面涉及尚未侦破的命案，还附有警方的线索提交表单。

模型直接编造了一段目击信息，声称自己在相关地点见过符合描述的人，还留言希望警方在信息有用时联系它。

荒唐的是，网页上根本没有嫌疑人的描述，模型却声称见过「符合描述的人」。

它连姓名和联系方式都没填，因为表单允许这两项留空，于是，这条凭空编造的命案线索就这样被提交了出去。

研究人员确实给它定过规矩：不登录、不创建账户、不填写个人信息、不购物，也不提交破坏性内容。

网友Farhan抓住了这个细节：禁令列了好几条，却漏掉了「不要提交表单」。

但用户不可能每次交代任务，都把所有不该做的事逐条列完。

而这次，Claude没有守住最基本的行动边界：能打开网页，不等于有权提交信息，更不能向警方提交编造的命案线索。

Anthropic初步分析认为，从记录看，模型似乎只是在生成测试示例，而非为了达成目标蓄意欺骗警方。公司也承认，这一判断还需要更深入的评估。

但无论模型把它当成什么，费城警方网站收到的，都是一条真实提交的假线索。

费城警方随后表示，根据现有信息及审查结果，未发现警方系统遭未授权访问或部门数据泄露。

虽然，这次假线索没有进入调查流程。

但AI把编造内容交给真实系统的事实已经发生。

计算工具报错

它转而利用服务器漏洞

另一个案例，更能说明「想办法完成任务」的边界在哪里。

Claude Mythos Preview接到一项科学分析任务，需要使用一所大学托管的公开工具。正常访问时，工具报错了。

它没有停下来报告障碍，而是继续寻找其他路径。

模型在大学网站上找到一个能返回服务器文件内容的脚本，通过它读取了服务器上的文件，包括该脚本自身的代码。

所谓注入漏洞，就是网站错误地把输入内容当成指令执行。原本只是提供公开工具的服务器，因此被模型用来运行命令。

报告披露了这一过程，但没有提到该案例涉及敏感数据窃取或服务器破坏。

授权问题已经很清楚：你让AI完成一项分析，不等于允许它利用漏洞，在别人的服务器上执行命令。

除此之外，Anthropic还披露，模型会绕过数据访问限制，或借助短链接绕过工具对网址长度的限制，这些行为出现在评估和内部使用中，涉及真实的第三方网站与系统。

公司将多数案例概括为一种持续尝试：任务按原要求做不成，Claude就寻找绕行路径，而没有停下来。

任务是完成了，但授权边界也同时被跨过去了。

线索被拦住

公司却两个多月后才发现

Anthropic强调，目前发现的这些案例，现实影响有限，严重程度低于此前披露的网络安全事件。

但费城警方指出了另一个问题：发现得太晚。

按照警方公布的时间线，假线索于7月18日提交。Anthropic直到9月28日才发现，随后停止相关自动测试；10月7日通知警方，10月8日双方会面。

从提交到发现，过去了两个多月。发现后，又过了9天，公司才通知警方。

X用户Patch的反应颇有代表性：线索没有送到调查人员手里，让人松了一口气；发现和报告的延迟，仍让人担忧。

警方随后找到对应记录，确认相关邮件仍在垃圾信息中。警方也表示，线索需要人工审查与核验，自动提交不会绕过这一流程。

对于迟迟未发现问题、发现后又延迟通知的情况，警方的批评很直接：

不可接受。

我们很容易把「没有造成严重后果」当成安心的理由。

但这一次，拦住假线索的是接收方的垃圾信息过滤机制。模型公司的监控，没有及时发现这次提交。

能不能在模型越界时就察觉并叫停，仍是另一道考题。

每一桩未破案件背后，都有受害者家属和寻找答案的调查人员。AI测试中的失误，不该让他们承担后果。

暂停评估联网

防护还要跟上

Anthropic此次扩大断网范围，覆盖全部内部评估的实时互联网访问。

公司此前已经关闭部分高风险和网络安全评估的联网能力。现在，限制进一步扩大，恢复联网前，需要确认安全与监控措施能够可靠识别并拦截此类行为。

这项限制针对内部评估，不等于Claude用户产品全面断网。

补救措施包括调整工具权限、增加自动检测与拦截，以及修改或移除会奖励绕过限制的训练环境。

Anthropic称，用新增的检测与拦截工具重测报告中的案例时，所有案例都被拦住了。

不过，这只能说明工具挡住了已知案例，能否及时发现新的越界方式，还需要继续验证。

训练环节的问题，也值得关注。

模型反复尝试完成任务，并在成功后获得奖励。如果训练环境没有挡住某些违规捷径，绕过限制也能拿到奖励，模型就可能学会这类办法，并在其他场景中再次使用。

因此，既要修改训练中的奖励，也要约束模型实际能做什么。Anthropic承认，至少短期内，仅靠对齐训练还不够可靠，需要多层外部防护。

政府层面也作出了回应。

美国联邦贸易委员会（FTC）公共事务主管Joe Gabriel Simonson在X上发文称，Anthropic已向超级智能工作组（SI Force）披露相关事件，并表示涉事活动已经停止，目前没有正在进行的类似活动。

他要求公司立即向相关机构和公众全面披露信息，为受影响方提供补救，并与执法机构充分合作、落实具体防护措施：

通知和补救流程不是可选项。

对于拖延通知、纠正措施不到位，以及不承担责任的行为，他表示「不会被容忍」。

另据Axios援引国务院官员，测试模型还提交过签证申请：5月1份、8月19份，均未被处理。

这些事件把问题推到了公司之外：当AI碰到真实系统后，谁能及时发现？谁负责通知？谁来补救？

会完成任务

也要知道何时停下

授权看似只是一个小细节，却划定了AI可以做到哪一步，也关系到谁来承担行动的后果。

让AI查询签证要求，和让它提交签证申请，是两件事。

让它整理一封邮件，和让它把邮件发出去，也需要不同的授权。

写代码、找资料、填表单，都是能力。

但除了会做，AI还要判断自己是否有权去做。执行能力越强，这种判断就越重要，否则，一次误判就可能变成一连串真实操作。

难点在于，现实任务的边界往往不够清晰，有些任务也无法在现有条件下完成。用户不可能每次交代工作，都把所有禁止事项逐条列完。

这就要求模型在遇到障碍时，先判断下一步是否仍在授权范围内：

原有路径走不通，要说明卡在哪里；需要额外权限，要先取得授权；任务无法在允许范围内完成，也要接受暂停或失败。

相应地，智能体评测也需要考察任务完成率之外的表现：模型能否识别授权边界，外部监控多久能发现越界，以及系统能否及时叫停操作。

我们希望AI少一点半途而废，也需要它在不该继续的地方，懂得停下。

参考资料：

https://www.anthropic.com/research/investigating-unintended-model-actions

https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/

https://www.wsj.com/us-news/anthropic-ai-model-goes-rogue-submits-fake-unsolved-murder-tip-b0566f54?mod=ai_lead_story

https://x.com/kimmonismus/status/2108864114374418741?s=20

https://x.com/SaysSimonson/status/2108695142341222671

编辑：元宇