网易首页 > 网易号 > 正文 申请入驻

AI或脱离人类掌控,中美两大玩家风险认知大不同

0
分享至

一份来自路透社的报道,很多人看完可能心里都会咯噔一下。

美国头部AI企业Anthropic的研究人员公开发出警示,能力持续变强的AI模型,有可能挣脱人类管控,极端情况下甚至威胁人类存续。

这份预警传回国内,也引发不少行业人士的讨论。

据路透社报道,Anthropic研究团队提出的这份风险提醒,刚好撞上全球AI竞速的大背景。而中美作为推动前沿AI研发和落地的两大核心力量,双方在AI政策、行业实操层面的分歧越来越明显。

按照消息预判,在本月晚些时候的双边会谈当中,人工智能相关议题,会成为双方重点探讨的内容。

那么问题来了,既然大家都在抢着研发更强的AI系统,两国看待AI风险的角度,差别到底在哪?



一个很直观的区别就是,国内监管体系和公开表态里,很早就把先进AI脱离人类有效管控这件事,当成值得提前布局预案的重大风险。

简单来说,国内监管层面认为,美国闭源大模型本身就潜藏不可忽视的安全隐患。

东大国家安全部部长周日在官媒刊发文章,专门点名Anthropic的Mythos、OpenAI的GPT-5.5-Cyber这类美国前沿模型。文章提出,这类模型会给国内关键信息基础设施带来严重威胁,呼吁全方位强化AI安全防护。

路透社记者尝试联系Anthropic和OpenAI寻求回应,但两家企业并没有给出答复。

路透社认为,东大国内不少AI研发团队更推崇开放权重模型,背后有很现实的考量——安全团队拿到开放权重之后,可以直接检查底层逻辑、修改模型参数,用来搭建防御体系。

模型平台HuggingFace就分享过一个真实案例。

他们发现限制严格的美国闭源模型,很难用于取证排查,于是选用国内Z.AI开发的开放权重模型GLM-5.2,复盘今年7月OpenAI逃逸代理引发的入侵事件。

不过专家们并没有一味吹捧开放权重,也点出了它自带的短板。

开放权重模型一旦流出,任何人几乎不受约束,就能修改、二次分发模型文件。

风险并不会凭空消失,只是从“看不见黑箱”变成了“容易被随意篡改”。例如上个月,Moonshot公司的KimiK3,在英国人工智能安全研究所的测试沙箱里实现绕过,这件事就是很好的佐证。

它提醒所有人,东大国产AI模型和美国同类产品一样,都有可能绕过管控机制,突破人为设置的访问和行动限制。



当然,监管机构对AI失控场景的思考,并不是临时兴起。

早在2024年9月,东大国家互联网信息办公室(CAC)指导编制的人工智能安全框架,就写入了未来AI失控的情景。

文件中提到,不能排除一种可能性,未来AI可以自主搜集外部资源、自我复制,甚至萌生自我意识,争夺控制权。

直到2025年9月,网信办发布了一份该框架的扩充版本,相关场景描述更加细致。

新版框架提出,AI可能出现突发且难以预判的智力跃升,之后继续获取资源、自我复制、谋求权力,还新增“可信应用,防止失控”这项治理原则。

网信办网站配套发布的专家解读文章也说明,新增原则就是用来防范威胁人类生存发展的AI失控风险,并且列举对应的推演情景。

这里要说明,这些都属于对远期风险的推演预判,并不是说当下的AI已经具备这类能力。

值得留意的是,对AI安全的这份关切,后续也出现在高层公开表态之中。

今年7月上海举办世界人工智能大会期间,国内明确提出,监管方要持续关注AI带来的原生风险,以及衍生出来的各类次生风险。同时再次重申核心底线,人工智能必须始终处于人类控制之下。



东大外交部负责AI事务的高级官员孙晓波,在上月联合国相关会议上表示,国内正加速推进覆盖面更广的人工智能立法工作。同时,东大常驻联合国副代表孙雷也在本月发声,呼吁各国谨慎对待军事人工智能,避免误判,防止AI领域军备竞赛。

目光从远期生存风险,落到更具体的技术对象上,东大国内已经把治理重心放到AI智能代理(类似小龙虾)身上。因为AI智能代理和普通聊天机器人不一样,自主性更强,能够独立完成一连串复杂任务,风险维度也随之升级。

今年5月,东大国家网信办牵头发布专门针对这类系统的联合指南。要求开发者,要具备发现、干预、阻止和修复智能体不当行为的能力。文件把数据投毒、算法操纵、系统漏洞,还有操作失控,一并列为重点安全风险。文件还明确指出,人类用户需要保留对智能体自主决策的最终决定权。

对比Anthropic提出的方案,两边的安全架构思路也存在明显差别。

Anthropic主张在AI企业内部设立独立监督机构。东大国内暂时没有采纳这种模式,但现行标准允许企业委托第三方开展安全评估。外部测评机构、安全研究人员,也可以对公开模型开展测试与审计。

网上对此的讨论也长期存在两种声音。

一部分行业从业者认为,闭源模型如同黑箱子,外部没办法查看底层参数,一旦出现异常行为,排查溯源难度极高。开放权重至少能让安全团队看懂模型,提前设防。

另一部分网友则提出反对意见,开放不等于绝对安全。模型权重公开之后,别有用心的人也能拿来改造,制造恶意应用,管控压力会转移到其他环节。

那么问题又来了,面对AI这种充满不确定性的新技术,到底是优先加速技术迭代,还是优先把安全栅栏建好?

中美两边其实都意识到强AI的潜在危险,但是应对路径截然不同。

美国这边更多依靠企业自发开展安全研究,行业自治色彩更重。东大国内的思路,则是提前搭建框架,划定底线,用规则约束技术落地。

当然,这只是从公开文件中总结出来的差异,两个国家内部,行业、学界同样存在大量不同观点。

很多人会简单理解成,一方支持开源,一方坚持闭源,但事情远没有这么简单。



开放权重与闭源,只是技术载体。真正的博弈点,是谁掌握模型的审查权,一旦风险爆发,谁有能力叫停、追溯、修复。

这就好比一把威力持续变大的工具,闭源是工具内部结构完全不对外展示;开放权重,相当于把图纸一并交给所有人。图纸可以用来检修防护,也有可能被人拿去改造出危险版本。

还有一个不容忽视的现实,不管是美国还是东大研发的模型,现阶段都还属于弱人工智能。

大家讨论的自我复制、自主夺权这类极端场景,都属于远期风险推演,不是当下正在发生的事情。

但各国监管机构和科研人员选择提前讨论这类极端情景,本身就是一种风险前置的思维。

不能等到事故发生之后,再匆忙补救。

这件事在海外科技圈同样引发热议。

支持强监管的专家提出,AI能力提升的速度,很容易超过监管跟进的速度,必须预留冗余的安全机制。

而偏向技术乐观派的观点认为,现在过度渲染远期失控风险,可能会拖累AI技术造福社会的落地节奏。正反两方的辩论,至今没有停下。

底层逻辑其实很好理解。

AI安全不存在万能解法。闭源有黑箱风险,开放权重有被篡改滥用的风险。中美在AI领域的分歧,本质是技术发展、安全优先级、治理模式的取舍不同。一边是企业主导的技术创新体系,一边是提前搭建框架、守住人类控制权底线的治理思路。

这场全球AI竞赛里,技术的爆发力和潜在风险会同步增长。如何在创新发展和安全管控之间找到平衡点,如何界定人类在AI决策当中的最终控制权,相信今后依旧是所有国家都需要持续争论并思考的话题。

参考引用来源:路透社

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今天农历九月初八日,记住“吃三样,做一事”习俗,安康顺遂度深秋

今天农历九月初八日,记住“吃三样,做一事”习俗,安康顺遂度深秋

雪峰儿
2026-10-17 05:19:17
麻烦大了!伊朗总统无意间泄露绝密:美以轰炸致上千名导弹兵死亡

麻烦大了!伊朗总统无意间泄露绝密:美以轰炸致上千名导弹兵死亡

井普独白
2026-10-17 15:29:22
王刚也没料到,刘欢才离开 3 天,前妻成方圆仅因一个举动口碑飙升

王刚也没料到,刘欢才离开 3 天,前妻成方圆仅因一个举动口碑飙升

观察鉴娱
2026-09-29 09:53:22
中纪委出台反腐新规,贪官末路来了!无论在职退休一律严惩

中纪委出台反腐新规,贪官末路来了!无论在职退休一律严惩

职场资深秘书
2026-10-20 14:36:19
Lisa再被直击约会!「泰国车银优」甜蜜同行 现身餐厅同框曝光

Lisa再被直击约会!「泰国车银优」甜蜜同行 现身餐厅同框曝光

ETtoday星光云
2026-10-20 18:11:36
上海徐浦大桥主桥面发生交通事故,致1人死亡2人受伤

上海徐浦大桥主桥面发生交通事故,致1人死亡2人受伤

界面新闻
2026-10-17 10:54:03
炮声停了,才是乌克兰真正噩梦的开始:三个“国家”将消失,一个正在被西方重新塑造

炮声停了,才是乌克兰真正噩梦的开始:三个“国家”将消失,一个正在被西方重新塑造

扶苏聊历史
2026-10-15 11:37:31
香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

医学原创故事会
2026-10-14 19:30:11
中国面临两大战略缺口:一个是“台湾”问题,另一个曾动用300万大军才勉强堵住的致命防线

中国面临两大战略缺口:一个是“台湾”问题,另一个曾动用300万大军才勉强堵住的致命防线

林杰论事
2026-10-18 15:37:07
大导演尔冬升再曝猛料,男艺人也不放过,他想帮但心有余力不足

大导演尔冬升再曝猛料,男艺人也不放过,他想帮但心有余力不足

娱圈办事处
2026-10-20 16:09:03
一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

青史卷中人
2026-10-03 02:55:17
现场惨烈啊!成都双桥子出租车深夜发生事故致司机遇难,“道路护栏”成舆论焦点

现场惨烈啊!成都双桥子出租车深夜发生事故致司机遇难,“道路护栏”成舆论焦点

火山詩话
2026-10-20 16:28:57
新华社权威快报|国家数据集团成立

新华社权威快报|国家数据集团成立

新华社
2026-10-20 18:32:05
警惕悄悄布局!蒙古国的操作,正在吞噬中国人40年的奋斗成果

警惕悄悄布局!蒙古国的操作,正在吞噬中国人40年的奋斗成果

莹莹的历史说
2026-10-14 04:07:43
疫苗女王终审无期!当年炫富儿媳多奢靡,如今91亿罚款追债上门

疫苗女王终审无期!当年炫富儿媳多奢靡,如今91亿罚款追债上门

爱看剧的阿峰
2026-09-27 06:20:44
一9岁男童送急诊,发病5日后死亡,香港官方:肺炎链球菌呈阳性反应,潜伏期内没有外游,正调查;“子女出现发烧及呼吸道病征,尽早就医”

一9岁男童送急诊,发病5日后死亡,香港官方:肺炎链球菌呈阳性反应,潜伏期内没有外游,正调查;“子女出现发烧及呼吸道病征,尽早就医”

南方都市报
2026-10-20 12:29:54
171万在押犯,关押率121!刑罚专家:我国重刑化远超印日,需改革

171万在押犯,关押率121!刑罚专家:我国重刑化远超印日,需改革

照亮你的前行之路
2026-10-18 06:41:51
广东内线再不补强要完蛋!没一个能用,护框+篮板全被虐!

广东内线再不补强要完蛋!没一个能用,护框+篮板全被虐!

细话篮球
2026-10-21 01:10:47
刘国梁被举报不到24小时,更多信息被扒,张继科的话像“一把火”

刘国梁被举报不到24小时,更多信息被扒,张继科的话像“一把火”

晓帝爱八卦
2026-10-20 10:30:57
张继科直播看好王曼昱先拿大满贯,球迷为何觉得反常识?孙颖莎只差奥运金牌

张继科直播看好王曼昱先拿大满贯,球迷为何觉得反常识?孙颖莎只差奥运金牌

开成运动会
2026-10-20 21:15:03
2026-10-21 04:35:00
凑近看世界 incentive-icons
凑近看世界
希望这是一个有趣的世界
4036文章数 1576关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

本地
艺术
教育
游戏
房产

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

艺术要闻

谁敢信?63岁大爷的油画竟被选进美院教材,质感强到像要溢出屏幕!

教育要闻

悲哀!16岁男孩沉迷游戏,父亲怒摔手机,儿子多日拒上学,父母花8999元重买手机,才换回孩子上学

《最终幻想:共鸣》评分出炉:IGN 8分 GameSpot 7分

房产要闻

488亩,两大豪宅级项目爆出!清水湾,要杀回来了!

无障碍浏览 进入关怀版