河北
人工智能不仅正在取代日常工作，还催生了一个巨大的新需求——验证AI的输出结果，市场情报公司IDC副研究总监希尔皮·汉达在最近的一篇分析文章中指出，而这一趋势在行业讨论中被大大忽视了。
汉达认为，每一场关于人工智能的讨论都聚焦于它将压缩服务收入并迫使以员工人数驱动的模式发生改变的风险，然而这种说法只说对了一半。
“现在每场关于AI的行业讨论似乎都绕不开同一个警告：它将完成大部分日常工作，服务收入将被压缩，基于员工人数的商业模式必须改变才能保持竞争力，”汉达说。
她指出，这一警告是准确的，但并不完整，因为它忽略了一个日益增长的需求——需要有人来检查AI系统是否把任务做对了。
汉达提到了认知心理学家莉桑·班布里奇1983年的一项研究，该研究发现自动化程度越高，人的角色反而越复杂，而不是越简单。
“一个系统的自动化程度越全面，剩下需要人做的事就越难，而不是越轻松，”班布里奇写道。
研究表明，随着自动化接管日常任务，人面对的只剩下一些罕见的复杂情况，还要负责监督那些平时很少出故障的系统，久而久之，技能就会退化。
“自动化通常是对的，直到有一天它出错，”班布里奇警告说。
汉达将这一现象与现实中的后果联系起来，举了1987年西北航空公司在底特律发生的一起坠机事故的例子，该事故导致154人丧生，原因是飞行员依赖的自动化系统出了故障，而他们对此毫不知情。
习惯于自动化的机组人员没有手动检查飞机的设置，这说明当系统看起来一直很可靠时，人的技能会怎样退化。
她说，如今各行各业都在大规模采用人工智能工具，类似的情况也在这些行业中浮现，尤其是在法律和软件工程领域。
初级律师越来越多地依赖人工智能进行研究和起草工作，这引发了担忧：他们没有培养出评估人工智能生成内容所需的判断力。
在软件工程领域，2026年的调查表明，初级开发者往往缺乏评估人工智能编写的代码所需的架构和安全知识，导致他们盲目信任自己无法正确评估的输出结果。
“从小依赖AI辅助编程的初级工程师，越来越缺乏网络和协议方面的基础功底，”Handa说。
这种转变造成了她所说的一个关键却始终没有答案的问题：随着自动化程度不断提高，谁来验证AI的输出。
“谁将具备验证AI所生成内容的技能？”Handa问道。
这个问题在网络安全领域尤为突出，因为AI系统已经在真实环境中自主运行。
安全运营平台正从助手模型转向完全自主的系统——这些系统独立行动，事后通知人类，往往依赖供应商自报的准确率，缺乏外部验证。
“现在经常听到安全团队承认，他们不采纳AI生成的建议，而非照此执行，”Handa说。
在攻击方面，AI驱动的渗透测试工具发现漏洞的速度比人类更快，但海量报告涌入系统却无法有效核实，让系统不堪重负。
至少有一个大型漏洞赏金平台因AI辅助提交数量激增而暂停了赏金计划，而开源项目也因大量低质量报告而叫停了相关项目。
Handa将此称为“验证缺口”，并提出了两个新概念来应对这一问题。
第一个是AI验证即服务，是指由人工独立验证AI的决策，确保输出结果与实际相符，并达到可问责的标准。
第二个是AI判断商数，指的是一个人判断何时该信任、何时该质疑AI输出的能力，这和单纯会写提示词不是一回事。
“会写提示词，你就能更快拿到更好的答案，”Handa说。
“AJQ 能告诉你答案对不对，”她补充道。
预计监管也会推动这类能力的需求，尤其是在欧盟《人工智能法案》下，该法案把在关键基础设施中使用的某些网络安全系统列为高风险。
这些系统必须要有真正的人类监督，能在实际操作中监控、理解并推翻人工智能的决策，而不只是停留在理论层面。
“监管机构不会因为一项政策说有个终止开关就满意了，”汉达说。
这类要求的合规截止日期已延到2027年12月，让企业有时间开发可信的验证机制。
汉达总结道，一个新兴市场正在形成，它处在自主人工智能决策、人类专业能力下降和监管审查这三者的交汇处，目前尚无明确的领导者。
“人工智能已经在生产环境中自主做出安全决策，”汉达说。
“那么，咱们就看看谁先把它做出来吧，”她补充道。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
