网易首页 > 网易号 > 正文 申请入驻

AI把东大一艘普通货船“升级”成高危目标,美方差点信了

0
分享至

AI最危险的,不是答错,
而是把错答案写得像真的

一份AI辅助生成的“专业报告”,如何从货单误判一路进入真实行动:真正的风险,不是模型会犯错,而是错误可以穿上权威外衣。


插图:本次事件不是AI独立“做决定”,而是错误先进入分析,再被包装成正式报告。

一、这次到底发生了什么:飞机已经升空,最后一刻才发现AI判错了

先把这件事说清楚。9月18日,CNN援引4名知情人士披露:今年春季,在中东局势高度紧张时,一份在美方军事体系内流转的情报报告称,一艘来自“东大”的货轮正在运送与某高敏感项目有关的关键部件。这个判断很快触发了拦截准备。两名消息人士称,相关人员已经准备登船;另有消息人士称,配合行动的飞机已经升空。

飞机已经升空,人员已经就位;真正的“刹车”,发生在行动前最后一轮复核。

这份报告怎么来的?按CNN的描述,一名特种作战体系分析员先把货单相关信息交给聊天机器人处理。模型将公开信息与内部信号情报混合后,错误识别了船上货物,并给出了一个高度危险的结论。CNN没有披露被误判的实际货物究竟是什么,因此这里也不替报道补空白。

更关键的是第二步:这名分析员随后又让AI把前面的判断整理成标准化情报报告。于是,AI第一次参与“判断”,第二次负责“包装”。一个未经充分核验的结论,就这样从聊天框变成了格式规范、措辞确定的正式材料,并沿着工作流继续向上流转。

直到行动即将开始前,更资深、熟悉相关领域的分析人员重新查看底层材料,才发现核心判断是AI“幻觉”,行动随即被叫停。CNN援引一名消息人士称,这份报告的关键结论“完全错误”;报道同时显示,相关机构当时未就此作公开回应。所以这次真正惊险的,不是“AI答错了一题”,而是错误只经过几步,就从原始材料走到了真实行动的门口。


图1|本次事件的关键链条:从货单信息,到AI误判,再到行动准备

二、AI最会制造的一种假象:专业感

人脑有一个很朴素的判断捷径:越像正式材料的东西,越容易被当成已经审核过的东西。聊天窗口里的一句话,我们会怀疑;有抬头、有编号、有“结论”“风险等级”“建议措施”的报告,人会下意识提高信任权重。

生成式AI偏偏特别擅长“专业感”。它能把一堆碎片信息写得层次分明,把不确定的事情写成肯定句,把互相矛盾的材料整理成一个看起来顺滑的故事。

美国国家标准与技术研究院(NIST)在生成式AI风险框架里把这种现象叫“confabulation”,中文常译作“幻觉”或“虚构”:模型可能生成错误内容,而且会非常自信地呈现。NIST还特意提醒,AI甚至可能把错误的引用、推理过程一起补齐,让人更容易相信它。

更麻烦的是,人并不总能抵抗这种“机器给出的确定感”。2024年发表在《Computers in Human Behavior》的一项实验发现,即使AI建议与现场信息相冲突,参与者仍会出现明显的过度依赖。换句话说,AI不需要永远正确,只要它多数时候好用,人就会慢慢把“核验”这一步省掉。

三、这种错误并不新鲜,只是代价越来越贵

过去几年,AI出错已经从“尴尬”一路走到了“要有人赔钱、有人担责”。

三个案例看上去毫无关系:一个是运输研判,一个是法律文件,一个是客服。它们的共同点却极其一致:AI的错误并没有停留在聊天框里,而是被人带进了真实流程。

四、“有人在环”为什么也不一定安全

很多企业会说:没关系,我们最后还有人工审核。

这句话听上去很稳,实际上只解决了一半问题。所谓“人类在环”,前提是这个人真的在审,而不是在点确认。

当AI连续几十次都没出错,人会形成惯性;当任务堆积、时间紧张、材料复杂,人更容易把AI当成一个“已经帮我看过一遍的同事”。这就是自动化偏见:机器给了一个答案,人会倾向于沿着它继续往下走,而不是从头重新检查。

甚至有研究发现,单纯加一个“人工确认”步骤,并不天然提高准确率。真正有效的是让审核者看到原始证据、保留质疑空间,并且知道自己要对最后结论负责。

所以,高风险场景里最危险的一句话往往不是“AI说这是对的”,而是“前面应该已经有人看过了”。

五、企业真正需要的,不是“少用AI”,而是三道闸

AI当然应该用。它在摘要、分类、检索、整理、翻译、初稿这些工作上,已经能省掉大量时间。问题在于:越接近不可逆决策,越不能把“生成”当成“验证”。


图2|高风险AI工作流的“三道闸”

第一道:来源闸。所有关键事实必须能回到原始材料。AI说“某文件提到”“某名单包含”“某货物属于”,必须一键看到原文。找不到原文,这句话只能算线索。

第二道:交叉闸。金额、合同、法规、医学结论、货物性质等高影响事实,至少用一个独立渠道复核。最忌讳的是:让同一个模型先做判断,再让它自己给判断找证据。

第三道:责任闸。凡是会触发对外付款、停运、封禁、重大风控、医疗处置等不可逆动作,都必须有明确的人签字负责。AI可以给意见,但不能成为责任的藏身处。

六、这可能是未来几年最常见的一类事故

过去大家担心AI“取代人”。现在看来,更现实的风险也许不是AI把人赶出办公室,而是AI坐在人旁边,替人把一个错误做得又快、又漂亮、又像真的。

它不会像电影里的机器人那样突然失控。它更可能以一种非常日常的方式出错:帮你总结一份材料,补全一个结论,生成一份报告,然后让所有人都觉得——这事已经有人认真看过了。

这才是生成式AI进入企业以后,最需要警惕的地方。

AI不会替你承担后果。它输出的是概率,人承担的却是真实世界的责任。

所以,未来真正优秀的组织,不是“AI用得最多”的组织,而是最早把一件事想明白的组织:什么可以交给AI提速,什么必须由人慢下来。

资料来源与增量信息

1. CNN,2026-09-18:援引4名知情人士披露本次AI辅助情报误判事件(经CNN Newsource转载页及CNN节目文字稿交叉核验) 打开来源

2. ZeroHedge,2026-09-18:本文所据二次报道之一;本文不沿用其地缘叙事,仅核对事件链条 打开来源

3. NIST:Artificial Intelligence Risk Management Framework — Generative AI Profile(2024,2026更新) 打开来源

4. Mata v. Avianca(2023):AI虚构判例导致法院制裁,罚款5000美元 打开来源

5. Moffatt v. Air Canada(2024):公司需对网站聊天机器人错误信息承担责任 打开来源

6. Klingbeil et al.(2024):Trust and reliance on AI,关于AI建议过度依赖的行为实验 打开来源

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

血型决定寿命长短?美国60万人研究发现:A型血60岁前或更易中风

任医生聊健康
2026-10-21 08:10:20
12分钟摘9篮板,全队第一!火箭队喜获“篮板狂魔”!廉价合同太超值

12分钟摘9篮板,全队第一!火箭队喜获“篮板狂魔”!廉价合同太超值

熊哥爱篮球
2026-11-16 11:57:03
詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

宗介说体育
2026-11-16 09:44:27
14年累计下跌5%:这些年中国股民是怎么活的?

14年累计下跌5%:这些年中国股民是怎么活的?

城事堂
2026-10-18 09:35:23
2008年奥巴马成功当选美国总统,彼时家中资产是130万美元,等到2016年卸任时,账面资产已经增长到4000万美元

2008年奥巴马成功当选美国总统,彼时家中资产是130万美元,等到2016年卸任时,账面资产已经增长到4000万美元

磊子讲史
2026-11-16 16:52:16
房价彻底变天,明年房价或超出所有人的想象,普通人早知道早准备

房价彻底变天,明年房价或超出所有人的想象,普通人早知道早准备

石辰搞笑日常
2026-11-16 02:45:13
18日中等强度冷空气携阴雨北风影响广东

18日中等强度冷空气携阴雨北风影响广东

广东天气
2026-11-16 17:54:54
克洛普:当初大家都觉得没人比布拉特更糟,结果真有人做到了

克洛普:当初大家都觉得没人比布拉特更糟,结果真有人做到了

懂球帝
2026-11-16 03:32:08
“四人帮”之一的姚文元刑满出狱,提出两个要求,简直是痴心妄想

“四人帮”之一的姚文元刑满出狱,提出两个要求,简直是痴心妄想

扬平说史
2025-07-07 23:37:32
美光科技、西部数据、希捷科技美股盘前跌超5%

美光科技、西部数据、希捷科技美股盘前跌超5%

每日经济新闻
2026-11-16 20:07:20
“浑身都是放纵的痕迹!”母亲晒儿子大学三年变化,连面相都变了,家长认为责任在学校,网友们痛斥

“浑身都是放纵的痕迹!”母亲晒儿子大学三年变化,连面相都变了,家长认为责任在学校,网友们痛斥

蝴蝶花雨话教育
2026-10-20 00:05:15
反间谍集体倒戈?伊最高领袖穆杰塔巴遇二次暗杀!高层权力遭渗透

反间谍集体倒戈?伊最高领袖穆杰塔巴遇二次暗杀!高层权力遭渗透

鹤羽说个事
2026-09-29 11:40:23
张本智和母亲含泪认错?彻头彻尾的谣言!他家的真实态度太扎心

张本智和母亲含泪认错?彻头彻尾的谣言!他家的真实态度太扎心

霁寒飘雪
2026-11-16 19:18:26
10万人逼宫英伟达,黄仁勋要复职了?

10万人逼宫英伟达,黄仁勋要复职了?

大猫财经Pro
2026-11-16 13:02:39
万万想不到,高举反华大旗的高市早苗,竟然把孙子送到中国留学!

万万想不到,高举反华大旗的高市早苗,竟然把孙子送到中国留学!

墨印斋
2026-06-06 14:41:27
外资撤离印度越南?美媒大胆预言:中国的西部,或成新世界工厂

外资撤离印度越南?美媒大胆预言:中国的西部,或成新世界工厂

王二哥老搞笑
2026-11-15 18:40:45
张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

磊子讲史
2026-11-12 14:13:18
1995年韶关,击毙阿部规秀的炮手李二喜仅存儿子遭雨衣枪手三枪射杀,儿媳周小玉落网后交代:3万订金买凶

1995年韶关,击毙阿部规秀的炮手李二喜仅存儿子遭雨衣枪手三枪射杀,儿媳周小玉落网后交代:3万订金买凶

唠叨说历史
2026-11-13 10:48:27
怪不得要散伙,四国峰会还没开,特朗普先说不,日本在南海犯大错

怪不得要散伙,四国峰会还没开,特朗普先说不,日本在南海犯大错

不甜的李子
2026-11-16 19:58:45
在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

铭记历史呀
2026-11-08 20:11:00
2026-11-16 20:47:00
大曦财经
大曦财经
守正出奇,传递价值
2170文章数 3857关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
房产
旅游
教育
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版