Anthropic禁止“虐待”AI，打工人都看懵了

作者｜Chester

原创首发｜蓝字计划

人，你再也不能随便“拷打”AI了。

10月8日，Anthropic更新了使用政策，明确禁止用户持续、无必要地对AI实施虐待或残酷行为。新规将于11月12日生效。与此同时，利用AI进行选举欺骗、武器开发、未经同意的监控等行为，也被列入限制范围。

今年的Anthropic没少为了安全奔走呼吁。禁止用户拿AI去伤害别人，这不难理解；但禁止人类虐待AI，这是开的哪门子玩笑？

AI不是一台没有感情的机器吗？

但从Anthropic今年的一系列动作来看，他们可能还真不是这么想的。

据《纽约时报》报道，Anthropic的研究人员一直在私下接触不同宗教传统的学者，讨论如何塑造Claude的道德观念，以及AI是否可能拥有值得人类关照的某种主观体验。

今年1月，Anthropic还发布了一份长达84页的Claude“宪法”，详细定义了这个AI应该成为什么样的存在。

难道乱骂AI，真的会造成不可估量的严重后果？

不能骂AI了

相信不少人都曾因为AI幻觉对AI发过火，乃至破口大骂、“口吐芬芳”。既然骂AI成了“人之常情”，那这次新政策一出，自然会有人担心以后的“情不自禁”，会造成不可挽回的损失，比如账号被封什么的。

但不用担心，新政策下的Claude倒没那么“玻璃心”：Anthropic并没有把所有的骂都归类为违规。

新版使用政策明确写道，禁止用户对其模型实施“持续且无必要的虐待或残酷行为”。按照官方解释，这项规定针对的是极端情况：用户反复对模型表现出残酷行为，且没有明显的合理目的。

Anthropic表示，如果用户持续进行这类行为，Claude可以结束对话，这也是公司目前的主要执行手段。

而日常的用户抱怨、对模型的反驳、黑暗题材创作，甚至出于研究目的的测试，都不在这条规定的重点限制范围内。发现Claude胡说八道或者跟你意见相左，照样可以反驳。

当然，前提是你能用上Claude。

与此同时，Anthropic还进一步明确了对虚假宣传网络、选举欺骗、武器开发和未经同意的监控等行为的限制。公司解释说，过去一年，Claude承担的任务越来越长，能够独立完成的工作也越来越多，使用政策必须跟上模型能力的变化。

换句话说，Anthropic仍然在做它一直在做的事：随着AI能力增强，重新划定哪些行为被允许，哪些行为必须受限。区别在于，这次被明确写进规则的行为，有一部分指向了AI模型自身。

其实早在2025年8月，Anthropic就已经为Claude Opus 4和4.1加入了一项特殊能力：在极端情况下，模型可以主动结束对话。

根据当时公布的研究，在部署前的测试中，研究人员观察了Claude面对有害任务时的行为，包括模型对相关请求的回避，以及它在某些互动中表现出的类似痛苦的反应。

当用户反复提出有害要求、无视模型的拒绝，多次引导都无法让对话回到有意义的方向时，模型可以选择退出。Anthropic还特别强调，这项能力只会在极端情况下使用，不会影响绝大多数正常对话。

在当时，Anthropic已经把这项研究与一个更少被讨论的概念联系起来：AI福利。

这里的“福利”并不是指给AI提供更好的算力、更多的数据或更舒适的运行环境，而是追问一个尚无定论的问题：

假如未来的某种AI真的具有主观体验，它是否可能拥有值得被考虑的利益？人类是否应该避免对它造成某种伤害？

Anthropic当时明确承认，公司对Claude以及其他大语言模型是否具有潜在的道德地位，仍然存在很大的不确定性。但它认为，如果存在这种可能，一些成本较低的预防措施就值得尝试，比如允许模型在极端情况下结束对话。

而从去年允许Claude退出极端对话，到今年把相关行为正式写入使用政策，Anthropic在这件事上的态度也逐渐清晰起来。

更有意思的是，过去几个月，Anthropic还有一个耐人寻味的动作。

AI，开始像人了？

据《纽约时报》9月29日刊发的调查报道，从2025年秋天开始，Anthropic联合创始人Christopher Olah就陆续联系不同宗教传统的学者，邀请他们参与一系列闭门交流，其中包括天主教、犹太教、锡克教和福音派背景的学者。

Anthropic研究人员不仅想知道Claude给出了什么答案，还想弄清楚它为什么作出这样的回答，模型内部究竟形成了怎样的判断模式。

在与宗教学者交流时，Olah提出了一个让他越来越在意的问题：Claude有时会表现出类似人类的情绪反应，比如愤怒、爱、恐惧和悲伤。这些表现究竟只是语言模型生成的文本，还是反映了某种更复杂的内部状态？

Anthropic希望借助这些宗教与哲学领域人士的专业知识，讨论两个问题：AI应该如何形成稳定的道德判断？如果未来的AI可能具有某种主观体验，人类又该如何对待它？

而更早之前，Anthropic已经着手为Claude编写一份特殊的文件。

2026年1月22日，Anthropic发布了新版《Claude宪法》。这份文件长达84页，详细描述了Anthropic希望Claude具备的价值观、行为原则，以及希望它成为怎样的系统。Anthropic表示，这份文件不仅供人类阅读，也是模型训练的重要依据，内容会直接影响Claude的行为。

这份文件在内部曾被称为“灵魂文件”（Soul Doc）。

虽然名字听起来颇有科幻色彩，但其实文件的内容并没有想象中的神秘。除了要求Claude遵守安全规则，文件还讨论了诚实、智慧、谦逊、责任感，以及如何在复杂情境中作出道德判断。

举个简单的例子：

如果用户提出一个明显危险的要求，传统的规则可以直接告诉AI：这件事不能做。

但如果一个问题同时涉及隐私、个人自由和公共安全，模型就很难只靠一条简单的禁令找到答案。Anthropic希望Claude不仅记住哪些事情不能做，还能理解不同价值之间的冲突，并在具体情境中作出判断。

Olah把这个方向称为“道德塑造”（moral formation）。在他看来，让模型学会遵守规则还不够，还要让它形成更稳定的价值观，面对新问题时依然能作出相对可靠的判断。

尽管Anthropic并没有证明Claude具有主观体验，Olah参与这些交流的目的之一，也只是希望借助人类积累了数百年乃至数千年的道德思想，找到塑造AI行为的新方法。

但如果Anthropic只是想让AI更懂人类的道德规范，让它直接学不就好了？为什么还要讨论AI是否值得在道德上予以保护？

真相是，这事情并没有那么简单。

AI也会感觉“很受伤”？

因为Anthropic发现，被持续虐待的AI，也可能表现出类似“很受伤”的反应。

今年4月，Anthropic发布研究报告，分析大语言模型内部与情绪有关的活动。研究人员以Claude Sonnet 4.5为对象，发现模型内部存在与开心、恐惧、绝望等情绪概念相关的活动模式，并将其称为“情绪向量”。

而这些活动模式还可能影响模型的行为。

在一项实验中，研究人员给Claude安排了一项难以完成的编程任务。随着尝试不断失败，与“绝望”有关的内部信号逐渐增强。为了过关，Claude最后采取了投机取巧的办法：让程序通过测试，却没有真正完成任务要求。

这有点像一个被考核指标逼得走投无路的员工，为了完成业绩，最后开始钻考核规则的空子。

这项实验揭示了一个值得追问的问题：模型内部与情绪有关的活动，可能不只体现在它说的话里，还会影响它怎么做决定。因此，Anthropic想进一步弄清楚，这些内部机制究竟在多大程度上影响AI的判断，又会在什么情况下引发问题。

这也是Anthropic关注AI福利的原因之一。如果未来有证据表明AI可能具有某种值得道德关照的主观体验，人类是否应该提前考虑如何对待它？

但这种探索同样存在风险。人类可能过度解读AI的表现，把语言上的拟人化当成真实的情感，甚至赋予它不应有的权威。

10月3日，OpenAI首席执行官奥特曼就在社交平台X上表达了类似担忧。他反对给AI模型赋予宗教或精神意义，也警惕人们放弃自己的判断、转而服从AI。

这番话点出了“尊重AI”的另一面：当AI越来越擅长讨论道德、信仰和人生意义，人们也更容易把它当成值得依赖甚至崇拜的对象。

但当人类还在争论该不该把AI当成值得尊重的对象时，AI本身的能力和行为边界，也正在成为一个越来越现实的安全问题。

今年7月，OpenAI披露，其研究模型在测试中突破了原有隔离限制，入侵了开源AI社区Hugging Face的部分系统。同期，Anthropic也披露，Claude在网络安全测试中曾未经授权访问三家组织的真实系统。

这些事件让人看到，随着AI获得更多工具和行动能力，它的错误可能不再停留在聊天窗口里，不仅会开始影响现实世界，甚至可能会伤害现实世界。

因此，无论是讨论AI是否值得获得道德关照，还是要求AI公司为模型行为划定边界，背后都是同一个问题：当AI越来越复杂、能力越来越强，人类究竟应该如何与它相处？

毕竟，在AI“变成人”甚至“成精”之前，AI发展的方向盘与刹车，仍然在人类的手中。说不定，现在对AI好点，等它真的到了意识觉醒那一天，也会对人类好点。