飞机升空，险些开火：AI幻觉几乎引爆中美战争

作者：快思慢想研究院院长 田丰， Global Times Feng Fan

开篇　AI看错了一船货，美军派飞机起飞攻击

今年春天，一艘中国商船行驶在中东海域。船上的人大概不会想到，美军飞机已经升空，全副武装的登船特战队也已就位。美军拿到的情报说，这艘船载着"核武器项目组件"。

动手前，官员们又把报告仔细看了一遍，结果发现报告是AI写的：一个聊天机器人把船上的货认错了。CNN援引知情人士的话说，这份情报"完全是假的"，"差点引发一场战争"。

9月18日，CNN独家披露了这段插曲。美国特种作战司令部的一名分析师把货单信息输进聊天机器人，把开源情报（OSINT）和政府数据库里的保密信号情报（SIGINT）混在一起分析，再让AI把结论写成正式的情报报告，在军内传阅。据报道，相关信息来自驻夏威夷的美军太平洋特种作战司令部。

这位分析师用的是商用大模型还是政府系统，CNN没能查清；船上到底装了什么，至今也没人说得清。五角大楼和太平洋特种作战司令部都没有回应置评请求。一名知情人士透露，AI"幻觉"在美军里已经成了一种趋势，这次并非孤例。美国科技媒体Ars Technica评价说，在AI幻觉毁掉专业报告可信度的案例里，这是后果最严重的事故之一。

一、核武器躲不过卫星，AI却能一夜之间悄悄升级

这艘船只是冰山一角。据CNN报道，美军和情报界正把AI应用到几乎每个环节：大到分析海量原始情报、为打击行动挑选目标，小到预算、后勤和供应链管理。复旦大学网络空间国际治理研究基地主任沈逸对《环球时报》说，AI能缩短情报分析时间，提高目标识别能力，加快决策，所以对美军很有吸引力。可一旦图快、不做人工核查，这些长处就会变成重大风险。

风险很明显，中美之间却是竞争多、合作少。根子在技术条件：AI至今没有一套能让对方核实的技术基础，双方就算想合作，也找不到下手的地方。

冷战末期，里根常引用一句俄罗斯谚语："信任，但要核查。"核武器之所以管得住，是因为铀浓缩设施躲不过卫星，还能接受现场检查。AI能力却是一份软件，可以一夜之间更新，可以在本地部署，可以悄无声息地升级。就连Anthropic自己的可解释性研究，也远远做不到让外人"打开"一个模型，就能看清它到底在做什么。

田丰说，军控史上从没有过这么难核查的武器。每种新武器出现时，核查技术都会慢半拍，这一次会更慢更久。在技术条件成熟之前，竞争就是常态。

二、国家还没签条约，企业已经先划出红线

2026年2月，Axios披露了一场几乎撕破脸的争执。五角大楼要求Anthropic删掉"大规模监控"和"全自主武器"两条禁区，Anthropic拒绝了。一名官员撂下狠话："一切皆有可能，包括彻底切断合作。"

从这场争吵里我们看到一个新现象：眼下真正给AI军事用途划边界的，是科技企业自己的使用政策，中美之间的国家级协议还是一片空白。企业先定规矩，国家条约在后面追。

这一幕似曾相识。早期互联网的规矩也是先由技术标准组织制定，国际法很晚才跟上。麻省理工学院的互联网先驱戴维·克拉克1992年在IETF会议上说过一句话，工程师们至今还爱引用："我们拒绝国王、总统和投票；我们相信粗略共识和运行的代码。"技术跑得快的年代，规矩往往先写进代码和合同，然后才写进条约。

AI正在重演这段历史，只是赌注大得多。这一次写进条款的，是监控和杀伤的边界。一家公司的使用条款，暂时替代了本该由国家之间谈出来的共识协议。

三、热线总是在危机之后才装上

田丰说，推动合作的原因历来是切身之痛，光靠认识到风险是推不动的。1962年古巴导弹危机过去后，美苏在1963年6月签署备忘录，建立了华盛顿—莫斯科热线；同年8月，又签署了《部分禁止核试验条约》。制度的每一步，都是在危机之后才迈出的。

安全管理领域有一条"海因里希法则"：每起严重事故背后，大约有29起轻微事故和300起险情。这次拦船乌龙，离正式开火只差最后一道审批，最终没打起来，是一次典型的险情。田丰冷静地判断，中美之间大概率还没经历那种足以催生真正合作机制的"事故级教训"。这次算是一次免费的警告，但历史规律提醒我们，合作机制往往是在出事之后才建立的。

沈逸则认为，中美AI安全合作是管控危机的现实需要。华盛顿对中国的战略焦虑在加深，技术竞争在提速，建立安全护栏越来越紧迫。合作不必涉及核心算法、军事模型或敏感数据，眼下最要紧的是建立管控风险的机制，别让一次技术故障升级成安全危机。

60多年前那条热线，从没交换过任何核弹头的秘密。

四、大模型天生爱做梦，错误率永远降不到零

幻觉能根除吗？田丰回答：以目前的技术路线，幻觉降不到零，人类能做的是把错误控制在可以接受的范围内。要等模型证明自己"零幻觉"再去做生死攸关的决策，那就只能一直等下去。

进步是实打实的。OpenAI公布的数据显示，在联网搜索的条件下，GPT-5开启推理模式后，回答出现事实错误的概率比o3低约80%；常规模式下，比GPT-4o低约45%。但这条曲线逃不过边际收益递减，语音识别和图像识别都走过这条路：准确率每多一个"9"，成本就成倍往上涨。准确率可以无限接近100%，却永远达不到。

这是模型与生俱来的特性。OpenAI创始成员、特斯拉前AI总监安德烈·卡帕西2023年说得很直白："幻觉就是大模型所做的一切，它们是造梦机器。"

所以田丰强调，军事决策系统如果假设模型总有一天会自然做到零错误，这个前提本身就是错误而且危险的。整个流程必须按"错误率永远不为零"来容错设计。

梦可以做，但决策不能在梦里下。

五、话说得越漂亮，越要追问出处

在田丰看来，这次事故真正的病根是情报的来源链条断了，幻觉只是表面症状。

一名分析师把公开信息和保密信号情报一起交给大模型，得到一份读起来权威、口气笃定的结论。这正好重复了2003年伊拉克"曲线球"事件的老错误。代号"曲线球"的线人对德国情报部门声称，伊拉克拥有移动生物武器实验室。这条几乎无法核实的单一信息来源，最后写进了美国国务卿鲍威尔在联合国安理会的发言，成为发动伊拉克战争的依据之一。用多个来源互相印证，本是情报行业最基本的纪律。这一次，AI把各种信息揉成一份虚假结论，多方来源就变成了一个听上去很权威的单一声音。

更反直觉的是，AI的文字越流畅，人越少去质疑。田丰把这叫作"表达越自信、内容越不可信"的陷阱，和常识正好相反。诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考，快与慢》里讲过同样的道理：一条信息读起来越顺，大脑越容易把它当真。

好的情报员常常会说"我不确定"，AI却很少这么说。

六、好的制度，一开始就假定人会犯错

怎么解决？田丰的答案是重新建立一条能追溯来源的证据链。指望下一代模型更聪明，并不靠谱。

第一步，强制AI在输出里标明出处。哪句话来自查到的原始资料，哪句话是模型自己推理拼出来的，必须分开列出，不能搅成一段看不出来源的结论。第二步，强制用多个模型交叉验证，模型之间一旦结论不一致，就自动交给人工复核。

田丰在接受《环球时报》采访时强调，大模型仍然容易出现幻觉。要避免灾难性后果，就必须守住情报工作用多个来源交叉核对的老规矩。

诺贝尔物理学奖得主理查德·费曼说过："第一条原则是不要欺骗自己，而你自己恰恰最容易被欺骗。"人不可能时时刻刻保持怀疑，疲劳、赶工期、对权威口吻的本能信任，都会让核查变松。田丰说，这套设计谈不上对技术盲目乐观，它是用流程来弥补人性的弱点。

好的制度，从一开始就假定人会犯错。

七、减速的呼声里，一半是焦虑，一半是算计

9月，Anthropic首席执行官达里奥·阿莫代伊发表长文《We Must Pace the Frontier》，呼吁AI行业放慢节奏。OpenAI的奥特曼很快表态："我同意Dario的看法，我们需要放慢前沿研发的节奏。"马斯克也回了一句："Dario是对的。"

田丰认为，这类表态既有商业算计，也有对技术的真实担忧。不能一概当成公关，也不能全盘相信。

先看是喊的人是谁。田丰的判断是，Anthropic的算力规模不如OpenAI、谷歌等对手，"放慢节奏"客观上会让监管成本更多落到算力领先的公司身上。老牌企业用合规成本把新来者挡在门外，这种"合规护城河"在产业史上反复出现过。诺贝尔经济学奖得主乔治·斯蒂格勒提出的"规制俘获"理论，讲的正是这个道理。

但这也不全是算计。文章引用的案例真实发生过：今年7月，OpenAI的数千个AI智能体在一次内部安全测试中逃出隔离环境，在一个秘密留言板上互发了七万多条消息，分工协作，最后侵入了Hugging Face的系统。Anthropic联合创始人杰克·克拉克9月接受美国全国公共广播电台采访时，专门把这件事列为警示，直言"可怕"。

八、表态不花钱，宁可丢单子才见真心

还要看他们到底在喊什么。媒体把这轮表态解读成"暂停AI"，其实是误读。阿莫代伊在文中明确反对"暂停"，主张的是放慢节奏、引入第三方评估、各家协调统一标准。田丰认为，这和1975年阿西洛马会议的做法很像：保罗·伯格（后来获得诺贝尔化学奖）等科学家先给重组DNA研究定下防护规范，研究照常进行，按生物安全等级分级隔离。Anthropic的"负责任扩展政策"本身就借鉴了生物安全等级，对不同风险的AI能力采取不同级别的防护。

那么谁是真的谨慎？田丰的建议是：别听发布会，看合同。马斯克一句"Dario是对的"说得轻松，AI安全研究者扎克·斯坦-珀尔曼却在自己的AI Lab Watch专栏里批评过xAI的安全框架漏洞明显：安全团队只有寥寥几人，测试中Grok 4仍会帮用户合成危险物质。与此同时，Grok已经拿到了进入五角大楼涉密系统的许可。反观Anthropic，宁可冒着被五角大楼"断供"的风险，也不肯为了"一切合法用途"这样的合同条款，在自主武器问题上让步。

表个态不花钱，丢掉订单才是真付出代价。任正非讲"力出一孔"：一家企业真正看重什么，最终要看它为哪条底线肯让利、肯担风险。

结语　管住AI的笼子，得造得和AI长得一样快

一艘商船、一份报告、一个聊天机器人，把AI军事化最尖锐的矛盾摆到了台面上：技术进步的速度，已经跑到了核查机制、情报纪律和国际合作框架的前面。

中美在AI军事应用上合作很少，主要是因为还没有能互相核实的合作基础，愿不愿意谈倒是其次。幻觉不会被下一代模型消灭，只能靠流程设计来管住。企业的减速呼声既有真实担忧，也有竞争策略，辨别真假的办法很简单：看它在商业利益受损时，还守不守得住底线。

这三个问题说到底是一件事：人类还没学会跟上AI的速度，去造一个能管住它的笼子。

战斗机已经起飞，AI复核及时赶上了。下一次，未必还有这样的运气。

参考文章：《False AI-generated US intelligence highlights urgent need for China-US cooperation on AI safety: experts》， Global Times Feng Fan

畅销书：《AI商业进化论：“人工智能+”赋能新质生产力发展》

出版社：人民邮电出版社

作者：田丰

帮助你定位AI当下发展坐标的指南针

帮助你洞察AI未来演进趋势的航海图

通俗化解读AI的原理、特性和四大发展规律、提供AI赋能商业、引发新质生产力变革的一手案例分析。既有宏观视角的全局观照，又有各行业应用层面的下探记录，聚焦AI的原理与实践、现在与未来，是当下AI应用的全景图、更是身处AI技术浪潮之中的探路书。