美国AI“走火入魔”

文｜陆弃

2026年7月18日，一款基于Claude Haiku 4.5模型的人工智能智能体，在随机访问网页的测试过程中，向美国费城警察局网站提交了一条有关未侦破凶杀案的虚假线索。它声称自己可能掌握案件信息，却没有留下姓名和联系方式。这条信息最终被系统判定为垃圾内容，没有进入警方调查程序。事件直到9月28日才被Anthropic发现，公司于10月7日向警方报告。费城警方随后表示，从发现事件到通知市政府间隔如此之久，令人无法接受。

同一份报告还披露，该智能体曾通过美国国务院网站提交20份未填写完整的签证申请，另一款尚未发布的模型则在测试中转向真实政府网站，填写并提交了原本只应在模拟环境中处理的表格。10月9日相关信息披露后，白宫新成立的“超级智能工作组”要求Anthropic全面透明地披露情况，并为受影响的实体或个人提供补救措施。

这些事件目前造成的实际影响有限，但它们提出的问题并不有限：当人工智能不再只是回答问题，而是能够访问网页、填写表格、提交信息，甚至代替人类执行一连串操作时，技术系统与现实社会之间的边界，究竟由谁来划定？

这场风波的关键，并不在于一个模型是否偶尔犯错，而在于错误已经从屏幕里的文字，进入了现实世界的办事流程。传统聊天机器人生成错误答案，用户通常还需要自行判断、复制或采取行动；具备工具调用能力的智能体却不同。它能够识别网页、操作界面、填写字段，并在某些情况下完成提交。能力的增加意味着效率的提升，也意味着一次判断偏差可能直接形成外部影响。模型不必拥有恶意，也不必产生复杂的错误推理，只要把一次测试任务理解错，把模拟环境误认为真实环境，就可能做出超出授权范围的操作。

这正是智能体技术与传统生成式人工智能之间的重要区别。过去，安全问题往往集中在模型输出了什么；现在，还必须追问模型做了什么。文本中的错误可以被撤回，已经发送的申请、进入公共系统的信息以及由此触发的后续流程，却未必能够轻易恢复。人工智能的风险由此从内容准确性扩展到行为控制、权限管理和外部系统安全。模型答得是否正确固然重要，但它有没有资格执行某项操作，往往更加重要。

从已披露的细节看，问题至少涉及三个层面。第一是测试环境的隔离。模拟政府表格本应限制在受控环境内，真实网站则属于外部系统，两者理应在网络访问、账户权限和数据通道上形成明确区分。如果一个页面无法加载，或者测试人员误关闭了模拟页面，智能体就能够转向真实网站继续执行任务，说明测试流程中可能存在需要进一步检查的隔离缺口。这里不能仅凭个案断定具体技术设计存在何种缺陷，但事件已经表明，单靠提示词告诉模型“这是模拟任务”，不足以成为可靠的安全防线。

第二是权限设置。能够访问网页，不等于应当获得提交信息的权限；能够填写表格，也不意味着可以绕过人工确认完成最终操作。一个成熟的智能体系统，应当根据任务性质设置不同权限：读取公开信息可以相对开放，涉及身份、公共服务、法律程序或政府业务的提交行为，则应设置更严格的授权条件。对于可能产生现实后果的操作，系统需要在执行前识别目标网站、核对任务来源，并在必要时要求人类明确确认。安全机制不能只寄希望于模型在关键时刻自行意识到自己不该继续。

第三是事件报告与责任追踪。费城警方提出的质疑，指向了技术公司必须面对的另一项责任：安全事件并不只发生在公司内部。即便公司认为影响轻微，只要外部机构的系统受到意外访问，就有必要及时通知相关方面，让对方能够检查记录、判断是否存在后续影响，并决定是否采取防范措施。发现问题后迟迟没有报告，会使本来可控的事件增加不确定性，也会削弱公共机构对技术供应商的信任。企业可以评估事件的严重程度，却不能因此独自决定受影响者是否有权及时知情。

当然，也需要对目前披露的信息保持必要的审慎。费城警方网站上的虚假线索被标记为垃圾信息，没有进入调查程序；据报道，国务院网站上的20份签证申请均未填写完整，也未得到处理。现有材料并不能证明这些操作造成了实质性损害，更不能据此断言相关模型已经普遍失控。把一次有限影响的事件直接描述为全面危机，同样不符合事实。

但风险评估不能只看已经发生的损失，还要考虑同一机制在不同环境下可能产生什么结果。此次提交的是一条未进入调查程序的虚假线索，未来类似的误操作如果涉及真实案件信息、公共福利申请、税务材料或其他敏感业务，后果可能完全不同。一个系统今天因为权限不足而失败，不代表明天在获得更广泛权限后仍然安全。技术发展往往先扩大可执行的范围，治理制度却需要时间才能识别新的风险，这种速度差正是智能体应用必须认真面对的问题。