一份来自路透社的报道,很多人看完可能心里都会咯噔一下。
美国头部AI企业Anthropic的研究人员公开发出警示,能力持续变强的AI模型,有可能挣脱人类管控,极端情况下甚至威胁人类存续。
这份预警传回国内,也引发不少行业人士的讨论。
据路透社报道,Anthropic研究团队提出的这份风险提醒,刚好撞上全球AI竞速的大背景。而中美作为推动前沿AI研发和落地的两大核心力量,双方在AI政策、行业实操层面的分歧越来越明显。
按照消息预判,在本月晚些时候的双边会谈当中,人工智能相关议题,会成为双方重点探讨的内容。
那么问题来了,既然大家都在抢着研发更强的AI系统,两国看待AI风险的角度,差别到底在哪?
![]()
一个很直观的区别就是,国内监管体系和公开表态里,很早就把先进AI脱离人类有效管控这件事,当成值得提前布局预案的重大风险。
简单来说,国内监管层面认为,美国闭源大模型本身就潜藏不可忽视的安全隐患。
东大国家安全部部长周日在官媒刊发文章,专门点名Anthropic的Mythos、OpenAI的GPT-5.5-Cyber这类美国前沿模型。文章提出,这类模型会给国内关键信息基础设施带来严重威胁,呼吁全方位强化AI安全防护。
路透社记者尝试联系Anthropic和OpenAI寻求回应,但两家企业并没有给出答复。
路透社认为,东大国内不少AI研发团队更推崇开放权重模型,背后有很现实的考量——安全团队拿到开放权重之后,可以直接检查底层逻辑、修改模型参数,用来搭建防御体系。
模型平台HuggingFace就分享过一个真实案例。
他们发现限制严格的美国闭源模型,很难用于取证排查,于是选用国内Z.AI开发的开放权重模型GLM-5.2,复盘今年7月OpenAI逃逸代理引发的入侵事件。
不过专家们并没有一味吹捧开放权重,也点出了它自带的短板。
开放权重模型一旦流出,任何人几乎不受约束,就能修改、二次分发模型文件。
风险并不会凭空消失,只是从“看不见黑箱”变成了“容易被随意篡改”。例如上个月,Moonshot公司的KimiK3,在英国人工智能安全研究所的测试沙箱里实现绕过,这件事就是很好的佐证。
它提醒所有人,东大国产AI模型和美国同类产品一样,都有可能绕过管控机制,突破人为设置的访问和行动限制。
![]()
当然,监管机构对AI失控场景的思考,并不是临时兴起。
早在2024年9月,东大国家互联网信息办公室(CAC)指导编制的人工智能安全框架,就写入了未来AI失控的情景。
文件中提到,不能排除一种可能性,未来AI可以自主搜集外部资源、自我复制,甚至萌生自我意识,争夺控制权。
直到2025年9月,网信办发布了一份该框架的扩充版本,相关场景描述更加细致。
新版框架提出,AI可能出现突发且难以预判的智力跃升,之后继续获取资源、自我复制、谋求权力,还新增“可信应用,防止失控”这项治理原则。
网信办网站配套发布的专家解读文章也说明,新增原则就是用来防范威胁人类生存发展的AI失控风险,并且列举对应的推演情景。
这里要说明,这些都属于对远期风险的推演预判,并不是说当下的AI已经具备这类能力。
值得留意的是,对AI安全的这份关切,后续也出现在高层公开表态之中。
今年7月上海举办世界人工智能大会期间,国内明确提出,监管方要持续关注AI带来的原生风险,以及衍生出来的各类次生风险。同时再次重申核心底线,人工智能必须始终处于人类控制之下。
![]()
东大外交部负责AI事务的高级官员孙晓波,在上月联合国相关会议上表示,国内正加速推进覆盖面更广的人工智能立法工作。同时,东大常驻联合国副代表孙雷也在本月发声,呼吁各国谨慎对待军事人工智能,避免误判,防止AI领域军备竞赛。
目光从远期生存风险,落到更具体的技术对象上,东大国内已经把治理重心放到AI智能代理(类似小龙虾)身上。因为AI智能代理和普通聊天机器人不一样,自主性更强,能够独立完成一连串复杂任务,风险维度也随之升级。
今年5月,东大国家网信办牵头发布专门针对这类系统的联合指南。要求开发者,要具备发现、干预、阻止和修复智能体不当行为的能力。文件把数据投毒、算法操纵、系统漏洞,还有操作失控,一并列为重点安全风险。文件还明确指出,人类用户需要保留对智能体自主决策的最终决定权。
对比Anthropic提出的方案,两边的安全架构思路也存在明显差别。
Anthropic主张在AI企业内部设立独立监督机构。东大国内暂时没有采纳这种模式,但现行标准允许企业委托第三方开展安全评估。外部测评机构、安全研究人员,也可以对公开模型开展测试与审计。
网上对此的讨论也长期存在两种声音。
一部分行业从业者认为,闭源模型如同黑箱子,外部没办法查看底层参数,一旦出现异常行为,排查溯源难度极高。开放权重至少能让安全团队看懂模型,提前设防。
另一部分网友则提出反对意见,开放不等于绝对安全。模型权重公开之后,别有用心的人也能拿来改造,制造恶意应用,管控压力会转移到其他环节。
那么问题又来了,面对AI这种充满不确定性的新技术,到底是优先加速技术迭代,还是优先把安全栅栏建好?
中美两边其实都意识到强AI的潜在危险,但是应对路径截然不同。
美国这边更多依靠企业自发开展安全研究,行业自治色彩更重。东大国内的思路,则是提前搭建框架,划定底线,用规则约束技术落地。
当然,这只是从公开文件中总结出来的差异,两个国家内部,行业、学界同样存在大量不同观点。
很多人会简单理解成,一方支持开源,一方坚持闭源,但事情远没有这么简单。
![]()
开放权重与闭源,只是技术载体。真正的博弈点,是谁掌握模型的审查权,一旦风险爆发,谁有能力叫停、追溯、修复。
这就好比一把威力持续变大的工具,闭源是工具内部结构完全不对外展示;开放权重,相当于把图纸一并交给所有人。图纸可以用来检修防护,也有可能被人拿去改造出危险版本。
还有一个不容忽视的现实,不管是美国还是东大研发的模型,现阶段都还属于弱人工智能。
大家讨论的自我复制、自主夺权这类极端场景,都属于远期风险推演,不是当下正在发生的事情。
但各国监管机构和科研人员选择提前讨论这类极端情景,本身就是一种风险前置的思维。
不能等到事故发生之后,再匆忙补救。
这件事在海外科技圈同样引发热议。
支持强监管的专家提出,AI能力提升的速度,很容易超过监管跟进的速度,必须预留冗余的安全机制。
而偏向技术乐观派的观点认为,现在过度渲染远期失控风险,可能会拖累AI技术造福社会的落地节奏。正反两方的辩论,至今没有停下。
底层逻辑其实很好理解。
AI安全不存在万能解法。闭源有黑箱风险,开放权重有被篡改滥用的风险。中美在AI领域的分歧,本质是技术发展、安全优先级、治理模式的取舍不同。一边是企业主导的技术创新体系,一边是提前搭建框架、守住人类控制权底线的治理思路。
这场全球AI竞赛里,技术的爆发力和潜在风险会同步增长。如何在创新发展和安全管控之间找到平衡点,如何界定人类在AI决策当中的最终控制权,相信今后依旧是所有国家都需要持续争论并思考的话题。
参考引用来源:路透社
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.