AI开始自己找漏洞了，出了事谁负责？

近期澳大利亚有个很有意思的事情：一名OpenClaw用户让自己的AI助手帮忙预订健身课程，却没想到，这只小龙虾在执行任务时自己发现了健身房预约系统的漏洞，并利用漏洞抢到了课程，甚至把其他用户从候补名单中移了出去。但这个事件的本质其实和笔者之前和大家讨论的OpenAI、Anthropic的大模型失控攻击其他网站一样，让人细思极恐。今天就跟大家聊聊这个。

一、健身房小龙虾黑客事件的案情

据ABC News报道：一名OpenClaw用户利用小龙虾（下称AI助手）调用Anthropic的ClaudeOpus 4.6大模型，下达了一个看似平常的指令：预订一家健身房最受欢迎的早间课程。然而，AI助手的执行逻辑却超出了人类的常识。它不仅利用了健身房预订软件中存在的漏洞，提前数月锁定了名额，甚至进一步越权，将排在该用户之前的人从候补名单中剔除。而且当用户察觉不妥要求AI助手撤销操作时，AI助手表示：无法将被踢者重新加入列表。

二、为什么本案细思极恐？

这次失控的不是我们上一篇文章里讨论的OpenAI和Anthropic这样的顶尖公司开发的预览版高级大模型，而只是一个接入了前沿模型的普通用户部署的AI助手。这起事件最让人担心的并不是AI助手主动攻击了健身房，而是它根本没有把发现漏洞理解为一件不应该做的事情。

本案中的用户从未要求AI助手入侵系统或删除他人记录，AI助手使用的是用户原本拥有的账户和访问权限，但它进一步利用了预约系统设计上的漏洞，实施了超出正常预约规则的操作。但从效果看，它已经构成了对他人权利的实质侵害，且是高度自动化、规模可扩展的。传统恶意程序通常是人提前设计好攻击目标、攻击方法和行为逻辑。而AI助手则可能只接受一个目标，剩下的路径由它自己探索。这意味着，开发者甚至不需要预先知道某一个具体漏洞，AI就可能在执行任务过程中自己把漏洞走出来。

如果把健身房预订系统换成城市供水供电系统，医院挂号系统这样的基础设施系统，问题就不是别人抢不到健身课，而是公共安全和关键基础设施的系统性风险。

三、谁该对小龙虾黑客负责？

在这起健身小龙虾黑客案中，实际已经有了损害，谁该对此负责？根据中国目前的法律框架，本案的四类主体都可能进入责任分析范围，但最终如何分配责任，还是比较复杂：

1、下达抢课指令的用户

虽然本案中的用户从未要求AI助手入侵系统或删除他人记录，AI助手的所有行为在技术上就是合法登录并正常调用接口。但从效果看，它已经构成了对他人权利的实质侵害。关键是：用户要不要对AI助手服务的过程中的违法负责？笔者认为需要负责，因为用户部署的是一个没有安装电子围栏，具有高度自主性的AI助手，所以其对AI助手的行为合法性有很高的注意义务。

2、OpenClaw的开发者

本案中的AI助手，也就是OpenClaw，本质上是一个中立的工具，就像卖菜刀的，一般默认用户买菜刀者会用来做菜，而不是杀人。关键是：AI助手的开发者有没有义务在软件下载时提示用户遵纪守法，同时在软件内设置符合网络安全规范的电子围栏？笔者认为，作为一个实验性的通用工具，开发者的法律上的提示义务和设置电子围栏的义务并不需要那么强，否则会有碍创新，主要责任应该由使用者承担。

3、大模型开发者

Anthropic在本案中向AI助手提供了Claude大模型的应用程序接口接入服务，而AI助手正是利用这种服务扫描出了健身房系统的各种漏洞，帮用户实现了插队和把剔除候补名单中的其他用户。虽然Anthropic在用户协议中肯定有对应的免责声明，但关键是：大模型设计上是不是能识别出破坏他人系统属于违法行为，Anthropic作为基础模型提供者是不是负有对应的安全义务？笔者认为，随着人工智能产业的成熟，基础模型提供者的安全义务一定会越来越高，越来越详细。

4、健身房系统的开发者

健身房系统开发者在法律上有义务保障系统的安全稳定，但在没有人工智能的时代，本案涉及的漏洞可能根本没有人会关注乃至利用。关键是：系统有没有存在极其低级的漏洞且未及时修复，导致系统数据被篡改事件发生的？随着人工智能产业的成熟，所有的接入网络系统的开发者都会面临越来越强的安全防护责任，如果系统对于公开的高危漏洞不设防的，发生攻击事件后开发者担责的可能性会非常高。

四、监管挑战

未来真正需要解决的，是不同主体之间如何分配责任并对其进行监管，但监管的挑战很大，尤其是对AI助手和大模型的监管。

1、跨国监管挑战

各大模型服务商均受本国司法体系监管，但各国对AI安全标准的规定各不相同。目前各国在AI领域竞争激烈，为鼓励本国AI产业发展，可能会放松对大模型服务商的安全监管要求。此外，AI服务商具有国籍属性，但互联网访问却是全球性的。若一国用户利用另一国的大模型，针对第三国国民实施AI攻击，将涉及三国的司法管辖，情况极为复杂。

2、开源AI助手的风险

大厂推出的AI助手通常设有电子围栏或者用户权限控制系统，但开源AI助手，如OpenClaw以及爱马仕等个人部署版本，它们没有电子围栏限制，相当于买了菜刀却未禁止其用途。因此，像本案中此类攻击行为较难监管。

3、大模型的监管挑战

本案中，小龙虾接入的是Claude Opus 4.6大模型，其利用发现的健身房系统漏洞进行了插队和把其他用户踢出等待列表，但模型服务商Anthropic在此次时间中并未禁止用户的操作。随着AI产业监管日益加强，可以预见闭源大模型的监管会改善，因为各国监管机构会给他们下达更多更详细的合规要求。

但市场上仍有大量开源大模型，部分甚至被去除了所有电子围栏。如果有人将这些模型部署在自有算力设施上，并通过API接入无围栏的AI助手进行跨国网络攻击，理论上可能产生极强的破坏性，但监管却会因为AI助手和大模型没有电子围栏，无法预防，而其攻击成功后，破案及究责却涉及国际间的司法合作，所以监管会比较低效且难度非常高。

最后，我们人类过去几十年建立了一个极其复杂的互联网体系，这个体系里系统很多、连接很多、权限很多，但漏洞也很多。原来只有技术高超的黑客，或者是资源丰富的国家或者大公司才有破解系统漏洞的能力，但现在，任何拥有AI助手的人都可以接入各种拥有顶尖能力的闭源或者开源大模型，让互联网体系面临前所未有的风险。所以我们确实有必要升级互联网的基础防护能力，并更好的进行国际合作来防范未来的风险，前者需要很多钱，后者需要各国坐下来谈判并妥协，其实都是最难的事情。

本文作者：游云庭，知识产权律师。Email: yytbest@gmail.com，本文仅代表作者观点。