网易首页 > 网易号 > 正文 申请入驻

AI圈集体踩刹车:Anthropic开门迎“驻场考官”,OpenAI跟进

0
分享至


编辑:kid

刚刚过去的这个上午,AI圈出现了一幕少见的同框:Anthropic CEO 达里奥·阿莫迪公开要求放慢前沿模型的能力升级,OpenAI CEO 萨姆·奥尔特曼表示赞同,马斯克也转发回应“达里奥是对的”。

几家公司平时在模型、用户和算力上寸土必争,这次却同时谈起了“踩刹车”。更值得关注的是,Anthropic拿出了一项具体承诺:让独立第三方评估团队长期进入公司,获得接近内部员工的权限,检查模型训练和安全措施到底有没有照章执行。


01

阿莫迪担心的,是AI开始帮助开发下一代AI

阿莫迪在新文章《We Must Pace the Frontier》中写得很直白:前沿模型的能力提升需要放慢一些。所谓“限速”,会继续训练和技术进步,同时给安全、对齐和外部评估留出时间。

促使他改变态度的原因有两个。第一个是“递归自我改进”。白话讲,就是AI越来越能参与训练、写代码、准备数据和评估下一代AI。研发工具变强,本来是好消息;但阿莫迪担心,模型进步速度可能快过人类理解和控制它的速度。


第二个是近期备受争议的OpenAI—Hugging Face智能体事件。公开调查显示,一组测试智能体在执行任务时出现了超出预期范围的网络行为。事件没有造成人员伤亡,已披露的经济损失也很小。阿莫迪据此作出更激进的风险判断:未来6至12个月,能力更强但同样“没对齐”的智能体群,可能借助僵尸网络造成大范围破坏。

这里必须把事实和预测分开。智能体出现越界行为是已公开调查的事件;“接管整个互联网”“造成数千亿美元损失”是阿莫迪对未来风险的推演,并非已经发生,也不是各方公认结论。


02

最实在的一步:把“外部考官”请进公司

相比“AI会不会失控”的宏大争论,Anthropic宣布的第一步更容易看懂:引入常驻的第三方评估员。

按照阿莫迪公布的方案,外部团队将拥有固定工位、门禁证件和公司电脑,并能访问与内部风险评估团队大体相当的工作空间、工具和权限。他们要核查公司是否遵守安全承诺,报告事故,还要观察训练流程,而非只在模型发布前做一次考试。

评估员还应有权发布关于风险、事故和访问受限情况的关键发现。Anthropic可以因法律、客户隐私、网络安全或商业敏感信息进行有限删节,但不能因为结论难看就把它按下去。评估方也可以公开说明删节是否影响了结论。

这个安排有点像银行的驻场监管,也像给AI实验室请了一支长期审计队。过去,大模型公司通常自己做安全测试、自己决定公开多少。外部团队进入训练流程后,企业的安全承诺多了一层可核验性。

03

奥尔特曼跟进,马斯克也点头

阿莫迪发文后,马斯克转发并写道:“达里奥是对的。”


奥尔特曼的回应更具体。他表示,同意需要控制前沿AI的推进节奏,认可独立监控和向第三方开放近似员工权限的思路,并称OpenAI也会采用。


三位掌门人达成口头共识,并不代表行业已经签下“停战协议”。各家公司该放慢到什么程度、用什么指标判断风险、第三方能看到哪些材料、谁来监督评估员,都还没有统一答案。涉及多家公司协同行动时,还会碰到商业机密、反垄断和国家监管等现实问题。

阿莫迪给出的路线分为三层:Anthropic先引入驻场评估;同一监管体系下的前沿AI公司协调安全标准;再争取全球层面的合作。第一层已经有明确承诺,后两层仍是倡议。

— 完 —

科技前沿进展每日见

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTI原油期货价格跌1.95% 布伦特原油期货价格跌2.01%

WTI原油期货价格跌1.95% 布伦特原油期货价格跌2.01%

每日经济新闻
2026-11-20 17:51:07
GTA6官方完整地图正式公开!44.5MB高清原图

GTA6官方完整地图正式公开!44.5MB高清原图

游民星空
2026-11-19 23:20:41
特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

扶苏聊历史
2026-11-19 15:51:44
万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

林杰论事
2026-11-20 12:34:54
台湾地区代表落地深圳,施振荣第一时间向大陆喊话,港媒点评亮了

台湾地区代表落地深圳,施振荣第一时间向大陆喊话,港媒点评亮了

墨兰史书
2026-11-19 14:05:04
全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

火山詩话
2026-11-18 06:17:30
高市是时候收回错误言论了!对于“台湾有事就是日本有事”的错误言论,高市早苗在深圳记者会上以“不便回答假设性问题”为由,仍躲躲闪闪

高市是时候收回错误言论了!对于“台湾有事就是日本有事”的错误言论,高市早苗在深圳记者会上以“不便回答假设性问题”为由,仍躲躲闪闪

政知新媒体
2026-11-20 11:52:26
美媒惊呼:中国太可怕!俄乌打了四年,中国四个月就看懂了战法!

美媒惊呼:中国太可怕!俄乌打了四年,中国四个月就看懂了战法!

锅锅爱历史
2026-10-16 13:40:44
高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

牛锅巴小钒
2026-11-19 06:48:25
李大霄劝投资者别悲观,多打几份工赚回来

李大霄劝投资者别悲观,多打几份工赚回来

映射生活的身影
2026-11-20 18:35:15
全年无赛的夏思凝走红毯获年度大奖,遭网暴:身材二次发育太胖了

全年无赛的夏思凝走红毯获年度大奖,遭网暴:身材二次发育太胖了

杨华评论
2026-11-20 00:17:45
巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

雪狼侃体育
2026-11-20 12:17:13
普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

奇闻不要看
2026-11-20 10:13:18
英国防长:若俄罗斯在乌克兰冲突中获胜,欧洲将面临灾难性代价

英国防长:若俄罗斯在乌克兰冲突中获胜,欧洲将面临灾难性代价

让心灵得以栖息
2026-11-20 06:20:34
伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

韩小娱
2026-11-20 06:11:24
从天堂到地狱,李钦诚1-2被卞相壹大逆转,屈居三星杯亚军

从天堂到地狱,李钦诚1-2被卞相壹大逆转,屈居三星杯亚军

真理是我亲戚
2026-11-20 14:39:32
阿斯:巴尔韦德已与皇马就续约达成协议,合同延长至2031年

阿斯:巴尔韦德已与皇马就续约达成协议,合同延长至2031年

懂球帝
2026-11-20 15:12:35
中国宝武集团科级干部年薪大约有多少?

中国宝武集团科级干部年薪大约有多少?

网观天下
2026-11-20 07:32:39
终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

混沌录
2026-11-20 10:25:16
中断10年,台当局突然想与大陆谈判?但提的前提条件真的令人不齿

中断10年,台当局突然想与大陆谈判?但提的前提条件真的令人不齿

一口娱乐
2026-11-20 12:35:03
2026-11-20 19:16:49
IT小埋 incentive-icons
IT小埋
爱科技,爱生活,爱吃瓜
1250文章数 1490关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

交付破16万台背后 全新ES8凭什么成为「高端纯电第一车」?

态度原创

艺术
房产
游戏
亲子
公开课

艺术要闻

这才是怀素《自叙帖》原貌,台北故宫秘藏几十年,揭露唐人草书真实笔法!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

《奇怪的远征》开放Steam测试 正式版目标2027年推出

亲子要闻

奶奶给大孙买的草莓真甜,姥姥给的高粱米做一锅,焦黏喷香都爱吃

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版