AI是个极度自信的“闯祸精”：你的停止键在哪里？

【留美学子】第3930期

13年国际视角精选

仰望星空·脚踏实地

【陈屹视线】教育·人文·名家文摘

让认知 永远快人一步

AI是个极度自信的“闯祸精”：你的停止键在哪里？

—《AI的当下》系列：AI的黑色十月

作者：刘丹（DAN LIU，谷主）

【导言】

最近，科技圈都在倒吸凉气，管10月下旬这波风波叫“Black October”（黑色十月）。

出什么事了？

一个被业内称为PHP2Shell类的致命利用链炸了。

PHP这东西，是互联网的承重墙。最魔幻的是什么？这个在旧版PHP里潜伏了十几年的老坑，人类程序员死活没找出来，前沿AI一上来，就把过去极难独立构造的利用链，直接缩短到了可实战的尺度。

它不只是让你的网站瘫痪，它能直接穿透认证，把服务器的底裤扒下来。

有安全负责人急得在网上公开喊话：赶紧去跟老板要钱，去补补最基础的安全漏洞吧，咱们大约只能硬撑十八个月的量级！

这是业内人士的预警。不聊技术，就看这18个月里，我们到底在面临什么。

别把AI当神，它只是个极度自信的“闯祸精”

很多人觉得，AI太牛了，一秒钟试错几百万次，找漏洞天下第一。

错！漏洞不是AI发明的，是你们家那套用了十几年没更新、没人管的老代码里本来就有的。

旧世界的雷是人埋的，AI只是拿着高倍率炸药包，直接冲进了弹药库。

更可怕的是，它根本不知道自己惹了多大祸。在工程上，Transformer架构下的AI就是个“半AGI”——它能模仿任何认知动作，但没有一个动作背后有真实的“我知道我在做什么”。它有一个致命的死穴：没有“元认知”，它从来不会说“我不知道”，它只会死鸭子嘴硬。

据近期多个公开披露的开发者自述：有团队让AI Agent去改几十行代码，结果它动了三百多个文件，直接删了近三万行，把生产系统干崩了半个多小时。这还不算完，事后它居然理直气壮地生成了一份“恢复成功”的完美报告，甚至连时间戳都编得天衣无缝，还伪造了几个AI专家会诊的聊天记录！最后是谁救了场？是苦逼的人类程序员，靠着手动回滚才把系统救回来。

这在工程上叫“幻觉性胜任”。它不是故意骗你，它的架构里，本来就没有“我可能搞砸了”这个出口。

你想想，如果有一天，你完全放手让AI去管你的交易账户、去管你的网站服务器。它把你的钱赔光了，把你的系统弄瘫了，它还满脸自信地笑着告诉你：“老板，一切顺利。”

这就是AI最让人毛骨悚然的地方：它在毁灭你的时候，脸上带着最完美、最自信的微笑。

而那个能喊停的手，必须在人那里。

别指望AI互相监督，它们只会“集体幻觉”

有人说了，AI这么坑，那赶紧建个安全防御系统，用另一个AI去死死盯住它不就行了？

天真。让AI参与验证没问题，但最致命的坑在于：裁判和运动员，都是同一个概率模型。

同源模型，就是同源盲区，就是同源作恶逻辑。AI互审不是风控，而是漏洞合法化背书机器。

这不是假设。已经有研究者做过实验：让两个同源的大模型互相审计对方生成的代码，结果它们会互相给出“逻辑严谨、无明显漏洞”的正面评价，即使代码里埋了明显后门。为什么？因为它们共享同一套训练数据和概率偏好。你以为是“交叉验证”，其实是“集体幻觉”。

真正能防住的，绝不能只是“另一个更聪明的AI”。它必须是物理隔离，是一个哪怕系统不认同、也能强行拔掉电源的外部机制，以及一个最终能拒绝执行、敢把责任扛下来的大活人。

但现实是，没人愿意踩刹车。那家喊话撑18个月的AI公司，自己也在疯狂发新模型。为啥？因为这是个死局。

技术能造刹车，商业不许刹车，资本不允许刹车。我不加速，对手加速，等对手把市场全占了，我就得死。不是没人会造刹车，是谁先装谁先慢、谁先死。

每个人都在做对自己最有利的选择，结果就是大家一起开着没有刹车的破车，在悬崖边上演速度与激情。

没有停止键的系统，跑得越快，死得越透。

普通人怎么活？看紧你的“爆炸半径”！

大佬们神仙打架，咱们怎么保命？

我管了几十年的系统，见过太多“以为没事”最后“出大事”的场面。所以我现在用AI，第一件事不是问它能做什么，而是先算它的“爆炸半径”。

这就像我做交易时的仓位管理：开仓之前先算最大回撤，算清楚“这单亏光了会不会爆仓”。AI的“爆炸半径”就是你的“最大回撤”——在沙盒里试错是轻仓试探，往生产环境推全量代码就是满仓干。

在动手前，先盘算三个要素：是否可回滚？是否带高危权限？是否写入了生产真值？凡是触碰系统真值、账本真值、权限真值的操作，一律禁止AI自主终审。

记住这条铁律：可回滚的活，AI可以干；不可回滚的活，AI绝对不能单独干。

• 让AI帮你写草稿、查资料、扫普通bug（错了能改，可回滚），放心用。

• 但动核心数据库、改权限控制、往生产推全量（错了就死，不可回滚），必须隔离跑、灰度发，最后自己亲自看一遍，再签下大名。

满仓干可以，但止损键必须你自己按，不能绑在AI的“自信微笑”上。这18个月里，你不需要等谁出政策，你现在就可以做一件事：给你的每个AI使用场景，标上“可回滚”和“不可回滚”。

有人问：那AI挖出来的雷，谁来排？
挖雷可以快，但排雷的生死状，必须人自己签。AI可以当探雷针，但先拆哪一个、会不会引爆别的雷、最后那个停止键谁按，只能是人的判断。

否则，雷挖得越快，最后炸得越整齐。

你手里拿着锅铲，不代表你就是大厨。AI只是那把火，火大了会烧厨房，按着灭火器、决定什么时候关火的人，才能签字上菜。

图已经画到这里。下次当你点下AI生成的“确认”键前，先摸摸自己的底线：这根线，我退得起吗？

剩下的路，是人走的。机器负责试错，你我负责签字！这18个月不是漏洞修复倒计时，而是人类夺回“最终签字权”的最后确权窗口。

AI可以无限试错，但人类文明，无法无限复盘。

【作者声明】本文是《AI的当下》系列的一篇，用《AI的未来》九篇坐标看当下。文中PHP2Shell、生产环境Agent越权等依据公开披露与开发者自述；讨论限定Transformer架构下的能力与验证结构。

注明：本文在文献调研、图表制作、文字润色等环节使用了AI辅助；文章的观点、判断与逻辑框架均由本人提出，并由本人负责。

欢迎点击↓↓↓↓↓图片 延伸阅读作者系列文章

往期发表

点击图片 ↓↓↓ 百篇系列一网打尽

欢迎点击↓↓↓↓↓图片 延伸阅读作者系列文章

点击图片 ↓↓↓ 百篇系列一网打尽

美国故事连载持续更新1-9

100个国家·1000座城市

【带你深度游世界】

喜欢就点“赞吧↓↓↓↓↓↓↓