![]()
2026年6月3日,美国麻省理工学院与昆士兰大学联合发布《人工智能风险的优先级排序:一项覆盖272位国际专家的德尔菲研究》(Prioritization of Risks from Artificial Intelligence: A Delphi Study of 272 International Experts)报告。报告试图回答人工智能风险治理中的三个核心问题:哪些风险最严重、谁最脆弱、谁最应负责。研究显示,在维持现状的情景下,专家认为24类人工智能风险中有18类在未来五年(2025—2030)造成灾难性后果的概率超过10%;即便采取务实缓解措施,仍有5类风险的灾难概率高于10%。更值得注意的是,研究揭示出一种结构性错位:风险脆弱性主要分散在用户与受影响公众身上,而缓解责任却集中在通用人工智能开发者与治理主体手中。
一、为何要为人工智能风险排定优先级
人工智能风险种类繁多:既包括歧视、隐私泄露、欺诈等已经显现的现实危害,也包括被滥用于武器或网络攻击、系统偏离人类目标等新兴的潜在灾难性威胁。由于风险治理资源有限,而不同风险的严重程度和发生概率差异很大,有效管理首先需要排序。美国国家标准与技术研究院的《人工智能风险管理框架》(AI RMF)和ISO 31000风险管理标准都强调,应按“可能性加权后的影响”划分轻重缓急,并据此配置缓解资源。
此前研究多把人工智能作为一个整体产业来评估风险,较少系统比较不同风险之间(例如“滥用”与“失灵”)的相对优先级。为填补这一空白,研究团队请领域专家评估24类人工智能风险在未来五年内造成不同程度危害的概率。这些判断对应风险治理的三个基本问题:严重性,即应优先处理哪些风险;脆弱性,即危害将落在谁身上;责任,即谁应当采取行动。
研究采用德尔菲法(Delphi method),即通过多轮匿名征询逐步暴露分歧、修正判断并凝聚共识。本次调查在2025年末开展,历时三轮,共有272位来自学界、产业界、政府和社会组织的国际人工智能专家参与。每轮专家给出评分与理由,随后看到匿名同行反馈,并可修订自己的判断。这一设计既能减轻从众效应和身份压力,也有助于区分稳定共识与仓促趋同。
二、风险严重性:24类人工智能风险中18类被认为存在较高灾难尾部风险
研究采用1(可忽略)至5(灾难性)的严重性量表,并以多个危害维度锚定“灾难性”后果,例如超过100万人死亡、超过1000亿美元经济损失,或文明尺度的无形危害(如民主规范崩塌)。在维持现状情景下,按平均严重性看,专家评出的五类最高风险为:危险能力、竞争动态、武器与网络攻击、权力集中,以及虚假信息。其中前三类平均严重性均约为3.49,接近并列;18类风险被评估为未来五年内造成灾难性后果的概率超过10%。
在假设各方采取“务实且具成本效益”的缓解措施后,所有风险的预期严重性均有所下降,但降幅不一。在1—5量表上,各类风险平均严重性下降0.36至0.53分,中位降幅约0.44分。降幅较大的风险包括危险能力、武器与网络攻击、竞争动态等高基线风险,这既可能说明专家认为这些风险更有缓解空间,也可能只是因为其初始严重性更高。即便如此,仍有五类风险的灾难概率高于10%:危险能力(12%)、武器与网络攻击(12%)、环境危害(12%)、不平等与就业质量下降(11%)、权力集中(11%);全部24类风险在务实缓解情景下仍被评为灾难概率高于5%。
当所有专家不限定专业领域、共同选出“未来五年最担忧的三类风险”时,排序与严重性榜单并不完全一致。被选为“前三担忧”最多的是武器与网络攻击(26.8%)、权力集中(23.5%)与虚假信息及影响(22.1%),其后是共识现实丧失和危险能力(均为21.6%)。这表明,专家的直觉担忧不仅受严重性影响,也可能受到风险可见度、跨领域熟悉度和量表难以捕捉的社会影响所影响。
三、谁最脆弱:用户与公众首当其冲,
行业冷暖不均
研究将脆弱性定义为某一主体对特定风险的暴露程度与敏感程度,并请专家为七类生态参与者打分。结果显示,最脆弱的是人工智能用户与受影响的利益相关方(即受人工智能决策影响、但未必直接使用系统的公众与消费者),其脆弱性中位数在多数风险上达到4—5(高度至极度脆弱)。相对而言,人工智能基础设施提供者(提供算力、云与数据等底层资源者)被评为较不脆弱,通用与专业开发者则处于中间位置,更多面临责任、声誉与监管层面的暴露,而非终端用户承受的直接危害。专家共识在两端最强:对“高度脆弱”和“主要负责”的判断更趋同,对中间层级则分歧更大。
从行业层面看,专家评估了14个行业对24类风险的脆弱性。信息业与国家安全领域被判定为最脆弱:前者因人工智能深度嵌入关键决策和内容生态,后者既可能成为人工智能攻击目标,也可能因系统失灵引发级联式地缘政治后果。金融与保险业对欺诈、市场操纵、系统失灵和监管暴露高度敏感;医疗健康业则在隐私、歧视和过度依赖上脆弱性突出,因为医疗场景中的人工智能失误可能立即转化为人身代价。相比之下,人工智能渗透较低的住宿餐饮、农业、制造、艺术娱乐等行业评分较低。整体上,脆弱性集中在信息、金融和国家安全等人工智能深嵌于关键决策、且后果易被放大的领域。
四、谁该负责:责任集中于开发者与治理者
研究把责任拆解为义务、能力与因果影响力三个维度。一个鲜明反差是,尽管受影响的利益相关方和用户最为脆弱,专家赋予他们的责任通常仅为中等或偏低(中位数2—3)。正如一位专家所言,受影响者既缺乏行动力,也缺乏系统性杠杆去缓解风险;若把责任推给他们,反而会因问责错置而加剧伤害。
主要责任被指向通用人工智能开发者。在几乎所有风险上,开发基础模型的通用开发者都获得4—5(高度至主要负责)的责任中位数。专家认为,开发者决定模型设计、结构、关键参数和默认设置,这些选择会直接塑造下游输出与系统性风险,因此最有效的干预往往是上游、预防性、集中式的,而不是下游、反应性、分散式的。一位专家将其类比为社交媒体:个人固然要为传播不实信息负责,但平台才是更应被关注和干预的关键节点。
治理主体(政府、监管机构与标准制定组织)被认为与前沿开发者共同承担高责任,因为政策与监管需要补充、约束或强制执行开发者的技术措施。专家普遍认为,在商业激励尚未与公共利益对齐之前,治理主体是连接开发者、部署者与受影响公众之间不可或缺的桥梁。整体来看,专家对“谁高度脆弱”和“谁负主要责任”的判断最稳定,而对中间责任层级分歧更大。
五、错位的激励:治理的紧迫命题
综合以上发现,研究勾勒出一幅清晰图景:脆弱性是分散的,责任却是集中的。这种分离在风险治理中并不罕见。公众最易受航空事故、药物副作用、核泄漏与环境污染之害,但预防责任主要落在工程师、制造商与监管者身上。在这些成熟行业,二者之间的鸿沟由强制标准、执法、责任追偿制度和社会对低风险的普遍期待共同弥合。相比之下,人工智能领域的类似机制仍处于形成初期,部分环节甚至缺位;若缺少这些机制,脆弱一方难以获得保护,负有责任的一方也未必承受足够行动压力。
更深层的问题在于激励错位。专家评分与一种集体行动困境高度吻合:任何率先放慢脚步、投入安全(如限制危险能力、加固模型权重防外泄)的开发者,都可能独自承担竞争成本,而安全收益却外溢给整个社会。报告将竞争动态和治理失败视为严重风险,也指出这种条件会削弱本应承担主要责任的两类主体:开发者可能因竞争压力降低谨慎程度,治理主体也可能受到游说或自律替代的影响而放松约束。正因如此,监管、责任追偿、强制保险和透明度要求等治理工具,才可能把被外部化的风险成本重新内部化。
研究也提示,专家在赋予开发者与治理主体主要责任的同时,也认为部署者、基础设施提供者与用户承担中等到较高责任。这种“责任分散”是一把双刃剑:往好处说,多主体共担责任可形成纵深防御,每一层都为风险设置一道防线;往坏处说,它也可能形成“问责黑洞”——当责任被分摊给所有人,最终可能无人真正负责。报告认为,主要责任仍应留在通用开发者与治理主体身上,其他主体提供额外防护层,而不是取而代之。
同时,武器与网络攻击、虚假信息、竞争动态等风险天然跨越国界,而现行立法多着眼于一国之内,部分风险因此还需要国际协调。报告最后强调,这些发现指向的是紧迫而具体的行动:为关键行业加固防线,明确不同主体应承担的责任层级,并着手应对那些即便采取务实缓解仍会长期存在的结构性动因。
免责声明:本文转自“启元洞见”公众号,原作者启元洞见。文章内容系原作者个人观点,本公众号编译/转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!
转自丨启元洞见
作者丨启元洞见
研究所简介
国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。
地址:北京市海淀区小南庄20号楼A座
电话:010-82635522
微信:iite_er
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.