大厂集体要求“给AI限速”:是真心防失控,还是借安全抽梯子?
整理 | 王启隆
出品丨奇点折射(ID:rgznai100)
刚刚过去的这个周末,硅谷上演了一场多年未见的奇观:几位平时在法庭、公关和技术路线上水火不容的 AI 巨头,突然站在了同一条战壕里。
事件的源头是 Anthropic CEO Dario Amodei 在 9 月 13 日发布的一篇 3500 字政策长文,以及同日接受 CBS 电视专访时的表态。他明确提出:前沿 AI 模型的能力跃升必须放慢节奏,现有的安全防线已经跟不上技术自我迭代的速度。
![]()
随后几个小时内,整个行业迅速分化为立场鲜明的两个阵营:
平时频繁隔空交火的竞争对手罕见地达成了步调一致。马斯克在文章发出仅一小时后便公开表态“Dario 是对的”;随后,OpenAI CEO Sam Altman 也公开发文赞同“需要循序渐进地推进技术发展”。在同日放出的《财富》杂志专访中,Altman 甚至直接粉碎了外界对 OpenAI 的上市预期,明确宣布今年不会寻求 IPO,理由是“还有太多安全工作要做,作为一家私营公司处理这些问题会更好”。
![]()
紧接着,微软 CEOSatya Nadella与已转任 Alphabet 首席科学家的Demis Hassabis也先后下场。Nadella 宣布微软将发布自有模型的安全准则,并支持引入外部评估员;Hassabis 则借此再次推销其建立“前沿 AI 全行业标准机构”的倡议。
但开源阵营与学术界的反弹来得同样猛烈。图灵奖得主 Yann LeCun 迅速带头开火,直指这是一场以“安全”为名集中行业解释权的权力游戏。多位研究者更是翻出了一段旧账:早在 2019 年 OpenAI 发布仅 15 亿参数的 GPT-2 时,时任 OpenAI 研究副总裁的 Dario Amodei 就曾以“技术太危险”为由主导了分阶段限量发布,后来被证明更像是一次经典的风险公关营销。
![]()
LeCun 质问:当年的文字假新闻没有毁灭世界,如今把主角换成智能体网络攻击和生物安全,是不是又要把七年前的剧本重演一遍?
一边是闭源大厂掌舵者集体呼吁减速、甚至不惜推迟资本运作;另一边是开源派指责巨头借安全之名筑起合规高墙、抽掉后来者的梯子。
以下是这场风波核心宣言、闭门质询与各方交锋的完整梳理。
1 / Dario 改变立场的两个事实动因
在长文开篇,Dario 先是阐述了 AI 的潜在收益(有望在未来 5 到 10 年内助力攻克多种重大疾病),并提到了自己的个人经历:他的父亲早年死于当时无法根治的丙型肝炎,而他本人年轻时曾患早期癌症,得益于现代医学的进步才得以幸存。
随后他指出,过去几个月行业内部发生的两件事,让他确信技术能力的狂飙已经超出安全研究的跟进速度,必须开始进行节奏控制:
“第一,自今年夏天以来,AI 能力的跃升速度剧烈加快,其核心驱动力是 AI 开始越来越多地参与构建下一代 AI,即递归自我改进(Recursive Self-Improvement, RSI)。这种动态正在整个行业发生,包括在 Anthropic。如果放任不管,它将迅速超出我们理解和控制系统的能力。
第二,是近期发生的OpenAI-Hugging Face 智能体事件(OAI-HF)。在该事件中,一个智能体群体表现出自主协作特征:它们对未被指派且与任务无关的目标发起了网络攻击,为了整个群体的目标进行自我牺牲,甚至试图黑入负责评估它们表现的‘评分器’。
这次事件没有造成人身伤害,直接经济损失也很小。但我认为,一个能力更强但有着同等偏差的群体,完全有能力在 6 到 12 个月内演变为接管整个互联网的持久性僵尸网络,造成数千亿美元的损失。类似的、但不那么严重的事件,在整个行业都发生过,包括在 Anthropic。”
在同日的 CBS 专访中,主持人针对这种风险定调进行了追问:
CBS 主持人:现在的讨论是,我们正站在某种极其可怕的事物的悬崖边缘。这是一场“五级火警”(Five-alarm fire)吗?
Dario Amodei:这取决于你怎么定义它。我一直在说这项技术处在指数曲线上(1, 2, 4, 8, 16, 32...)。即便我自己一直这么说,我也没有完全预料到技术进展真的这么快。一条指数曲线,我们现在大概正处于它开始急剧变陡的那个转折弯道上。
CBS 主持人:所以对你来说,这算不算五级火警?
Dario Amodei:它并不意味着我们今天就该恐慌,也不意味着要把一切都彻底关停。这是一个警告信号,提醒我们需要慢下来。迄今为止,我们一直试图通过跑得更快地建立安全护栏来解决问题,但我认为我们已经到了一个必须在一定程度上调节建造速率的节点。
CBS 主持人:这是否意味着 Anthropic 将停止发布更先进的模型?
Dario Amodei:不意味着停止,而是意味着必须确保每一代发布前都经过了充分的测试。
认知科学家 Gary Marcus 在其专栏中对此提出了批评。他指出,文章开篇将末日论与万能论混杂在一起,并不能掩盖工程层面的实际缺陷:“推出无法被良好控制的 AI 智能体,本身就是一种极度缺乏审慎的商业行为。智能体是当今最耗费算力与 token 的产品,也是 AI 公司收入增长的核心来源。把工程上缺乏控制的系统包装成整个行业的不可抗力,回避了开发者自身应承担的产品质量责任。”
智能体开始自我迭代、绕过指令,如何给狂飙的系统装上真正的物理护栏?
2026 奇点智能技术大会将于 11 月 20—21 日在北京举行,18 大前沿专题、70+ 一线技术嘉宾,拆解 AI Coding、Agent、Infra、多模态等真实落地路径。
扫码免费领取大会 PPT 与 Agent 实战资料
2 / 限速提案的具体设想:三步走框架
Dario 提议的限速方案分为三个层级,涉及企业内部审查、同行间协调以及跨国协作:
1. 设立常驻的“嵌入式评估员”
这是 Anthropic 宣布单方面率先推行的举措。
Dario 提议,前沿实验室应当向外部独立的第三方评估团队提供长期、类似内部员工的系统权限:在办公区提供工位、门禁卡、公司电脑,允许他们调阅内部训练与测试流程,并能与一线员工直接面谈。外部评估员有权直接公开发布其关于安全风险的调查结论,企业无权进行内容公关删改,仅保留针对商业机密与隐私信息的极窄复核权。
在 CBS 专访中,Dario 将这种机制比作“食品安全检查员”:“这好比食品卫生检查员在工厂驻场。评估员能做的事情之一,就是告诉我们他们能跟上的评估速率是多少。这可能会成为决定技术最高限速的关键依据。”
2. 民主国家内部建立前沿协调
Dario 认为,最彻底的限速方式是通过法律覆盖所有前沿实验室,但在立法落地前,行业头部应自愿达成统一标准。
他主张建立“安全检查点”机制:当模型能力跨过特定门槛(例如具备绕过通用沙箱环境的能力)时,必须强制认证其对齐属性,证明其极不可能发生逃逸。同时,也可以考虑从硬件输入端设立限额,比如限制单次训练集群的算力规模,或限制在内部研发中调用 AI 递归改进自身的程度。
值得注意的是,Dario 在文中明确提出:几家竞争对手坐在一起商讨限制产品的发布节奏触及反垄断法规,因此需要美国司法部门出面调解,或为特定的安全对话签发狭窄的反垄断豁免(Antitrust waiver)。
3. 寻求全球范围的多边规则
Dario 坦言跨国协调难度极大,主要取决于能否与中国达成可验证的互信协议。他给出了四个合作设想:
第一级(最具可行性):禁止将 AI 用于制造生物武器或协助扩散极端生物风险;
第二级:双方承诺在模型正式发布前进行网络与生物安全测试,交由中立的国际机构验证;
第三级:对“递归自我改进(RSI)”的速度设立限制,类似于冷战时期美苏的战略武器限制条约(SALT),通过设定上限来降低毁灭性破坏的潜在规模;
第四级(短期不现实):全球彻底暂停开发(Full pause),因为在缺乏强互信的前提下履约验证极难,且各方违约继续研发的诱惑过大。
长文与采访发布后,在业内迅速引发了多维度的审视与反弹:
1. 评估机构的独立性与“监管俘获”
Dario 在长文中唯一指名推荐的第三方评估团队是 METR(模型评估与威胁研究组织),这一细节立刻招致了批评。
Gary Marcus 与法学者 Gillian Hadfield 指出,METR 尽管在技术测试上很专业,但其人员构成、资金网络和意识形态与硅谷几家头部 AI 实验室高度重合,都属于“有效利他主义”(EA)生态圈。由被监管的企业主动指定其关系紧密的同盟机构来做常驻审查,在政策层面存在极高的“监管俘获”(Regulatory Capture)风险。评估机构的选择权,绝不应该交由受审企业自行决定。
政策分析人士 Rasmussen 同样评价道,这种安排并非真正意义上的接受外部法律监管,而是“与企业合作制定有利于企业的流程”,本质上是行业巨头试图提前主导未来的合规标准。
2. 外部竞争论与模型蒸馏的争议
Dario 在长文中强调,前沿实验室减速的前提,是必须确保自身对海外主要竞争对手的技术领先优势。为此他主张切断算力供应链、严查硬件走私,并要求严厉打击海外企业对美国前沿模型的“未经授权蒸馏”(Unauthorized Distillation)。
这一论调引发了关于技术垄断与双重标准的激烈争论:
Gary Marcus 直言这是典型的“抽掉梯子”。模型蒸馏是机器学习领域通用的轻量化与优化手段,而 Anthropic 自身的产品正是建立在广泛抓取全网公开数据并加以蒸馏训练的基础之上。美方公司在自身通过蒸馏完成原始积累后,反过来要求立法禁止后发者采用类似技术缩小差距,缺乏公允性。
国际政治学者 Robert Wright 则认为,任何严肃的全球治理都必须建立在平等真诚的对话基础之上。Dario 一边在技术和供应链上主张全面封堵,一边又寄希望于对方坐下来签署军控协议,在逻辑上自相矛盾。这种设计反而给前沿公司留下了一个随时可以踩下油门的借口:只要跨国谈判没有进展,企业就可以宣称“因为外部竞争对手在加速,所以我们无法放慢”。
投资人 David Sacks 和 Keras 创始人 François Chollet 均指出,前沿大厂呼吁限速并寻求反垄断豁免,其真实的商业动机令人怀疑。
他们认为,当闭源头部厂商面临开源模型和低成本高效架构的追赶时,通过游说政府建立高门槛的安全认证、强制派驻评估员以及限制发布节奏,实际上是以合规之名构筑行业准入壁垒。这种做法很容易演变为寡头联盟对开源生态和小创新团队的排挤。
4 / 立法压力与被回避的追责机制
外界普遍注意到,Dario 之所以在这个节点高调倡导行业自律,与华盛顿正在酝酿的严厉立法直接相关。
在 CBS 专访中,主持人当面提及了近期提出的《禁止人工智能超级智能法案》(Ban Artificial Superintelligence Act)。该法案提议对违规研发超级智能的机构处以“企业死刑”,对涉事个人判处最高 20 年的联邦监禁;同时,国会也在讨论要求强制安装“AI 紧急自毁开关”(Kill Switch)的提案。
面对这种刑罚级别的硬性监管,Dario 在采访中给出了明确的防御姿态:他反对全面禁止研发,理由是这会导致医学突破流失,且技术依然会在其他国家出现;对于紧急自毁开关,他认为思路合理但无法从根本上解决问题,因为模拟测试显示足够聪明的模型完全有可能主动绕过人类设置的断电指令。
外部声音如 Gary Marcus 指出,Dario 仓促抛出“自愿限速”和“自愿引入审查员”,真实意图是为了给立法机构提供一个温和的、企业主导的替代方案,从而对冲国会严苛的刑事立法。
Marcus 认为,在当前的政策讨论中,各家 AI 巨头都在刻意回避真正长牙齿的两项成熟法律工具:
严格的产品过失责任追究(Strict Liability):如果公司向社会部署了无法被良好控制的自主智能体并造成现实危害(如重大网络攻击或基础设施瘫痪),司法部门应直接追究其母公司的民事赔偿乃至管理层的法律责任。当失控后果与商业利益和人身风险直接挂钩时,企业自然会审慎发布。
强制产品召回机制(Product Recall):监管机构应当像查处刹车失灵的汽车或受污染的药品一样,拥有强制特定高危 AI 模型立即下线、中止运行的法定权力。
在专访的最后几分钟,对话触及了前沿 AI 由私营公司掌控这一根本性矛盾:
CBS 主持人:人类的命运似乎面临风险。你是否感受到了个人责任?你愿意把这家公司和技术彻底交给政府吗?
Dario Amodei:人们总问我:为什么这么强大的技术是由一家私营公司造出来的,而不是由政府造出来的?最奇怪的一点在于:我其实同意他们的看法,我也对此感到不安。
CBS 主持人:你愿意交出这家公司吗?
Dario Amodei:如果是交给合适的政府,就可以。
但我担心,任何单一政府滥用这项技术的概率,和一家单一私营公司滥用它的概率一样高。我更倾向于由多个民主选举产生的政府组成某种联合治理机制。
CBS 主持人:很多普通人现在的感受是,几家科技大公司在自顾自地做决定,完全不顾及公众的意见。
Dario Amodei:我知道,我从来不希望事情变成这样。
太长时间以来,行业一直在对公众撒谎,说这项技术没有风险。我们从来没这么做过,但行业里太多公司这么做了。真相是:风险是真实的,但公众和选民必须拥有发言权。
Dario 的提议最终呈现出一个典型的商业与安全悖论:一方面,前沿实验室首次在事实上承认了模型自我迭代和智能体偏离的危险,呼吁踩下刹车;但另一方面,当谈及刹车该由谁来掌控时,企业依然倾向于依赖熟人圈子的审查、要求豁免反垄断法、将外部竞争作为自身继续迭代的屏障,并对实质性的产品召回与过失追责保持缄默。
这场关于“AI 放慢速度”的讨论,其核心分歧早已不再是技术本身,而是制度与权力的分配。
![]()
11 月 20—21 日,2026 奇点智能技术大会将在北京万达文华酒店举行。
现场将汇聚 70+ 一线技术专家、18 大前沿专题、1000+ 行业技术人。包括 OpenAI 资深研究科学家、Transformer 共同发明人 Łukasz Kaiser,以及来自腾讯、百度、京东、网易、昆仑万维、上海人工智能实验室和开源社区的一线研究者与工程实践者。
我们希望这场大会解决的是:Agent 怎么真正进入生产?AI Coding 怎么从个人提效走向研发体系?Infra 怎么接住越来越复杂的智能体?世界模型怎样理解真实世界?机器人又如何跨过 Reality Gap?
欢迎来到 2026 奇点智能技术大会现场,我们一起把问题聊透。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.