网易首页 > 网易号 > 正文 申请入驻

AI不再需要人类怎么办?我们需要测一个关键指标了

0
分享至


图源:pixnio

撰文|刘少山

在《人类简史》中,尤瓦尔·赫拉利用小麦解释农业革命。人类驯化了小麦,小麦也重新塑造了人类。为了让小麦生长,我们开垦土地、修建灌溉系统、定居下来,把大量时间投入播种和收割。几千年后,小麦成为世界上分布最广的作物之一。小麦的扩散来自人类持续的选择、种植和传播,这套选择机制已经足以改变两个物种的命运。[1]

不知不觉中,人工智能与人类正在形成一种相似的关系。我们建设数据中心,制造芯片,供给电力,生产训练数据,修正模型输出,再把AI接入千行百业。越受人们欢迎的人工智能系统,往往会获得更多数据、算力和资本,随后进入更多场景。人的采用行为本身,正在帮助它不断扩展,像赫拉利文字中的小麦一样。

不过,小麦的大规模繁衍始终依赖人类。它无法修理拖拉机,无法建设电网,也无法重新组织农业生产。AI的发展方向则可能触及另一条边界:一个被人类创造和培育的系统,有没有可能逐步脱离人类,获得维持自身存在所需要的能力?

AI有多强和它有多独立是两回事

机器自我复制已有很长的研究历史。冯·诺依曼建立了自我复制自动机的形式理论,机器人研究也长期讨论机器如何从物理材料出发完成自我复制。[2][3]今天发生的变化,是大模型、智能体、机器人、云计算和自动化制造正在逐渐汇合。过去分散在不同领域的问题,开始成为同一套系统里的问题。

过去几年,AI安全研究已经开始靠近这个问题。METR研究自主复制与适应能力,关注AI智能体能否获取资源、建立副本并持续运行。[4]Google DeepMind把自主复制能力纳入前沿模型危险能力评估。[5]2025年的RepliBench进一步把自主复制拆成获取资源、取得模型权重、部署到计算资源以及长期维持运行等任务。研究中的前沿模型已经能够完成不少局部环节,但整条链路仍然无法稳定闭合。[6]

一个模型即使能把自己复制到许多云服务器,仍然依赖人类维持云平台、电网、芯片制造和硬件维修。软件可以复制,支撑软件长期存在的物理世界仍然由人类组织。因此,我更关心另一个问题:AI什么时候能够维持自身再生产所需要的条件?

我把人类不再是AI持续存在和再生产的必要条件的那条边界,称为“脱离人类依赖阈值”。这个阈值与大模型在考试中得到多少分关系不大,也不要求机器拥有意识。它描述的是一个系统工程事实:维持AI持续运行的因果链是否已经在人类之外闭合。

这里需要区分两个经常被混在一起的问题。一个问题是AI有多强,另一个问题是AI对人类还有多深的依赖。前者测量能力,后者测量系统独立性。一个推理能力很强的模型,可能仍然离不开数据中心里的技术人员。由多个专业模型、智能体和机器人组成的系统,也可能在没有达到所谓通用人工智能(AGI)之前,就已经接管大量运行和维护工作。智能程度和独立程度是两条不同的轴。

跨过脱离人类依赖阈值需要一整套能力。系统要能获得算力和能源,发现并修复基础设施故障,协调机器人完成物理维护,管理关键供应链,并在硬件失效之后制造替代设备。模型本身还要能够生成、测试和部署后继系统。真正获得独立性的单位因此很可能是一套生态,由模型、智能体、机器人、工厂、网络和能源系统共同构成。

具身智能使这种可能性更值得关注。纯软件智能的行动边界主要停留在数字世界。机器人进一步进入仓储、制造、维修和能源设施之后,AI开始触及维持自身所需的现实基础设施。

以一个大型AI数据中心为例,软件故障需要工程师处理,服务器和冷却设备需要维护,电力供应需要外部系统保障,新的GPU和服务器还要由完整的工业体系生产。随着AI编程智能体进入运维,部分软件问题可以自动处理;随着机器人进入机房,部分硬件更换也可能被自动化。再往前走,能源调度、物流补给和设备采购也可能越来越多由智能系统完成。

依赖网络中的人类节点由此逐渐减少,剩余节点越来越集中在少数关键环节。多个能力有限但分工明确的系统,只要能够覆盖软件运行、物理维护、资源调度和生产补给,也可能形成相当高程度的自主闭环,而不必等待一个无所不能的超级模型出现。

当人和AI的依赖关系倒转

人与AI的关系已经进入演化研究的视野。Pedreschi等人把人类与AI的共同演化描述为一个持续反馈过程:人的选择产生数据,数据塑造算法,算法随后影响人的选择。[7]Rainey和Hochberg进一步提出,深度相互依赖可能让人类与AI形成新的演化个体。[8]

这种关系未必始终由人主导。Müller、Steels和Szathmáry在论文中区分了两种模式,一种由人类设定选择标准,另一种的选择压力更多来自开放环境。[9]我认为还需要追问:人类对于AI持续存在究竟有多重要?

今天,AI对人类的依赖很深,而社会对AI的依赖正在快速上升。未来,自动化会继续减少AI系统对人类劳动、判断和维护的需求;与此同时,人类把越来越多认知和组织功能交给AI。两条趋势持续推进之后,人和AI之间可能出现依赖关系倒转:人类越来越依赖AI,而AI对人的直接依赖越来越低。

《黑客帝国》和《终结者》都曾把机器与人的支配关系倒转搬上银幕。现实中,我们未必需要等到机器反抗人类,才面对失去控制的危险。模型生成更多代码,智能体接管更多运维任务,机器人承担更多维修工作,自动化工厂提高无人化水平。每一步都有提高效率的理由,人却可能在这个过程中逐渐退出维持系统运行的关键环节。

当生产和公共服务越来越依赖AI时,停止一套系统的运行,可能同时意味着中断人们赖以生活的服务。而如果这套系统已经能够自行获取资源、修复故障和扩展,人类原先通过限制资源和维护来干预它的手段,也可能不再有效。即使没有机器的敌意,一次目标设定的偏差或运行错误,也可能变得难以纠正。

控制权和必要性是两个不同维度。一个复杂系统可能已经很难由单个人完全理解,同时仍然高度依赖人类维护。也可能出现另一种结构:系统受到规则和制度约束,但日常运行和再生产已经只需要极少的人类参与。如果一个AI生态能够在能源、算力、维修、制造和扩展上完全自我维持,那么纸面上的人类监督很容易失去实际意义。

人的决定权需要有现实基础

我们一直在测AI离人类的能力还有多远,却很少测AI离人类的依赖还有多远。真正需要长期观察的,不只是模型会做多少任务,而是人类从这套系统中退出之后,它还能维持多少功能、持续多长时间,并在多大程度上恢复自身。

最直接的方法是画出AI系统的依赖图,识别其中仍然必须由人完成的节点。电力、算力、网络、维修、制造、物流和物理操作都可以进入这张图。进一步可以定义一个“最小人类支持集”,也就是维持整个AI生态持续运行所需要的最少人类功能。这个集合越小,系统对人的结构性依赖越低。它随时间缩小的速度,也可以成为一个值得长期跟踪的指标。

但识别这些节点,不应只是为了继续用自动化替代它们。对于能够影响能源、算力、制造和大规模物理行动的AI系统,一些关键依赖点需要被有意识地保留下来。关键算力的大规模扩展、后继系统进入现实环境以及影响基础设施安全的重要操作,都需要保留真正有效的人类授权和接管能力。

今天常说的“人在回路中”(human in the loop),很多时候只是让人在流程末端确认机器已经作出的决定。真正有意义的人类控制,需要让系统在关键环节持续需要人的参与,让人拥有改变系统状态和方向的实际能力。从工程上看,我们不应该把完全自主闭环当成所有AI系统追求的终点。效率优化可以继续,自动化程度也可以继续提高,但最小人类支持集不能消失。

今天每一次把软件运维、设备维护或者资源调度交给AI,都在重新画那张依赖图。未来的AI治理除了评估模型能力和行为风险,也应该审查一个系统正在取消哪些人类依赖,哪些关键节点必须长期保留,以及人类在紧急情况下能否真正接管。

技术可以大幅降低系统对人的操作性依赖,社会需要同时强化人的决定权。在教育、医疗、公共治理和关键基础设施中,这一点尤其重要,因为这些系统直接影响人的机会、权利和生活。AI可以提高决策和执行效率,但社会必须保留真正能够介入和改变结果的人。

人的主体性与AI的结构性依赖,在这里是同一个问题的两面。前者决定人有没有最终决定权,后者决定这种决定权有没有现实基础。这条边界应该在AI真正接近完全自主之前就写进系统设计和治理规则。

赫拉利笔下的小麦取得了巨大的演化成功,它的繁衍始终依靠人类社会提供基础设施。AI可能沿着另一条路径发展。AI有多聪明当然重要,AI在多大程度上依赖人类同样重要。前一个问题告诉我们机器能够做什么,后一个问题决定人在未来技术系统中还处于什么位置。

本文作者刘少山为深圳市人工智能与机器人研究院具身智能中心主任。

参考文献:

  • [1] Harari, Y. N. Sapiens: A Brief History of Humankind. Harper, 2015.
  • [2] von Neumann, J. Theory of Self-Reproducing Automata. A. W. Burks, ed. University of Illinois Press, 1966.
  • [3] Moses, M. S., and Chirikjian, G. S. Robotic Self-Replication. Annual Review of Control, Robotics, and Autonomous Systems 3 (2020): 1–24. DOI: 10.1146/annurev-control-071819-010010.
  • [4] Kinniment, M., et al. Language Model Pilot Report. ARC Evals (now METR), 2023.
  • [5] Phuong, M., et al. Evaluating Frontier Models for Dangerous Capabilities. arXiv:2403.13793, 2024.
  • [6] Black, S., et al. RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents. arXiv:2504.18565, 2025.
  • [7] Pedreschi, D., et al. Human-AI Coevolution. Artificial Intelligence 339 (2025): 104244. DOI: 10.1016/j.artint.2024.104244.
  • [8] Rainey, P. B., and Hochberg, M. E. Could Humans and AI Become a New Evolutionary Individual? Proceedings of the National Academy of Sciences 122, no. 37 (2025): e2509122122. DOI: 10.1073/pnas.2509122122.
  • [9] Müller, V., Steels, L., and Szathmáry, E. Evolvable AI: Threats of a New Major Transition in Evolution. Proceedings of the National Academy of Sciences 123, no. 17 (2026): e2527700123. DOI: 10.1073/pnas.2527700123.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
利拉德回归25+6开拓者轻取太阳,杨瀚森5分2板莫兰特14+8

利拉德回归25+6开拓者轻取太阳,杨瀚森5分2板莫兰特14+8

湖人崛起
2026-10-22 12:27:50
苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

不掉线电波
2026-10-21 12:22:08
高市早苗上任一年4次会面特朗普!5500亿投资、稀土矿双手奉上…日本正在被高市掏空!

高市早苗上任一年4次会面特朗普!5500亿投资、稀土矿双手奉上…日本正在被高市掏空!

可达鸭面面观
2026-10-21 16:47:34
越算越紧的养老账!企业职工养老保险八成靠保险费,机关事业单位四成靠财政补贴

越算越紧的养老账!企业职工养老保险八成靠保险费,机关事业单位四成靠财政补贴

可达鸭面面观
2026-10-20 17:18:44
难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

火山詩话
2026-10-22 08:15:35
难以置信!一博主称晒车附车主信息发帖同城交友,一日收到13位女生私信,直言“5个质量不错”

难以置信!一博主称晒车附车主信息发帖同城交友,一日收到13位女生私信,直言“5个质量不错”

火山詩话
2026-10-22 07:35:45
33岁中国外卖员在伦敦送餐,被69岁英国亿万富豪看中:怀上孩子,我就娶你!“你要是能怀孕,我们就结婚。”

33岁中国外卖员在伦敦送餐,被69岁英国亿万富豪看中:怀上孩子,我就娶你!“你要是能怀孕,我们就结婚。”

扶苏聊历史
2026-10-21 18:05:26
浓眉34+12+4奇才末节逆转雄鹿开门红,吹杨20分13助攻状元缺席

浓眉34+12+4奇才末节逆转雄鹿开门红,吹杨20分13助攻状元缺席

湖人崛起
2026-10-22 09:43:05
张嘉益好友聚餐,70岁陈宝国仍有胸肌,二叔满脸通红,抽100的烟

张嘉益好友聚餐,70岁陈宝国仍有胸肌,二叔满脸通红,抽100的烟

小椰的奶奶
2026-10-22 05:04:05
北京大学党委原常委、纪委书记、中文系原副主任、党总支书记闵开德教授逝世

北京大学党委原常委、纪委书记、中文系原副主任、党总支书记闵开德教授逝世

双一流高校
2026-10-22 01:10:25
小卡回归首秀23+6!猛龙43分狂胜公牛 巴恩斯23+6+5四人轰20+

小卡回归首秀23+6!猛龙43分狂胜公牛 巴恩斯23+6+5四人轰20+

醉卧浮生
2026-10-22 10:26:53
旭日旗进境外课堂,陈宇昕家境曝光,南京方面如何回应?

旭日旗进境外课堂,陈宇昕家境曝光,南京方面如何回应?

平老师666
2026-10-21 21:14:14
“公奔私”先行者,知名私募大佬病逝,年仅57岁

“公奔私”先行者,知名私募大佬病逝,年仅57岁

财联社
2026-10-21 20:46:02
不查不知道,一查吓一跳!披旗的南京精日分子陈宇昕,私下有多壕

不查不知道,一查吓一跳!披旗的南京精日分子陈宇昕,私下有多壕

北海史记
2026-10-21 19:09:56
泽连斯基:愿在保留75%领土控制权的基础上达成和平协议

泽连斯基:愿在保留75%领土控制权的基础上达成和平协议

界面新闻
2026-10-21 19:47:20
什么时候我们连讨论一起车祸起火的资格都没有了?

什么时候我们连讨论一起车祸起火的资格都没有了?

魔都囡
2026-10-22 03:05:45
“精日”留学生已被遣送回国,南京警方表态:这不是小事!

“精日”留学生已被遣送回国,南京警方表态:这不是小事!

仕道
2026-10-22 11:43:40
70名中国留学生在泰国被骗近200万元!新骗局曝光

70名中国留学生在泰国被骗近200万元!新骗局曝光

扬子晚报
2026-10-22 07:29:30
宇树H2-X机器人举起汽车救人引热议!网友:有点儿期待今年春晚了

宇树H2-X机器人举起汽车救人引热议!网友:有点儿期待今年春晚了

快科技
2026-10-22 09:28:10
南京警方回应“留学生在国外身披旭日旗”事件:收到数百起举报,有专门部门处理,“这不是小事”

南京警方回应“留学生在国外身披旭日旗”事件:收到数百起举报,有专门部门处理,“这不是小事”

大风新闻
2026-10-21 22:57:10
2026-10-22 12:43:00
知识分子 incentive-icons
知识分子
关注科学、人文、思想
813文章数 1204关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

伊朗伊斯兰革命卫队发言人:我们准备推出"炸弹之父"

头条要闻

伊朗伊斯兰革命卫队发言人:我们准备推出"炸弹之父"

体育要闻

热闹的NBA回来了,他却倒在新赛季大门口

娱乐要闻

杜淳王灿近况曝光:铁婚六年甜上热搜

财经要闻

为卖房,有房企花20万拍短剧

汽车要闻

有七座/续航提升 领克900L曝光还可选双色车身+大饼轮毂

态度原创

数码
本地
游戏
公开课
军事航空

数码要闻

振华推出VGA 12+4PIN过电流保护转接线,支持视觉、听觉双重警告

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

《AKIBA LOST(秋叶原迷踪)》Steam版因审核等原因延期后,于今日10月21日正式上线!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

泽连斯基"愿以领土换和平协议" 普京表态

无障碍浏览 进入关怀版