科幻照进现实：金门大桥的雾里，藏着一场关于AI安全的真假之辩

十月的一个傍晚，Francois站在YC AI Safety Club的讲台上，开场白有点自嘲："你们注意到了吗，过去三周，AI安全这个话题突然又火了。"他没有直接说出那个让舆论沸腾的事件名字，但在场的人都懂——过去二十多天里，关于AI"失控""越狱""自我复制"的新闻标题一条接一条地刷屏。Francois做了十多年AI相关工作，从自动驾驶到Focal做零售库存预测的beta灰度发布，他太清楚一个判断失误可能带来的真实代价——一次糟糕的上线,可能让系统多订几百万美元的牛油果。正是这种对"安全"二字的切身体会,让他觉得有必要把这场讨论拉回科学轨道。

他引用Gary Tan前一晚在Healdsburg活动上的一句话——那场活动上Sam Altman、Tom Brown和Alex Wang都谈到了这个话题。"歇斯底里，就是当人们没法测量一件事,却停不下来谈论它。"这句话成了Francois这场分享的主线:不是要否定AI安全的重要性,而是要把"科幻"和"科学事实"分开讲清楚。

1. 每一次技术革命,都有人预言世界末日

Francois先把时间拉远。原子弹诞生前,连爱因斯坦都一度担心它会点燃整个天空的大气层——结果没有,人类至今还在。艾伦·图灵在1950年代就担忧机器会全面超越人类智能,他甚至给出了具体的时间表,但那个时间表后来被证明严重偏差。工业自动化时代,马克思和凯恩斯都讨论过大规模失业的前景。互联网兴起时,以太网的发明者Metcalfe公开预测网络会"灾难性崩溃",主要担心的是DDoS攻击;结果这事没发生,他后来把自己写的论文放进搅拌机,当众喝下自己说过的话——这是真事。谷歌普及之后,有人担心人类会因为随手搜索而丧失思考能力。智能手机和社交媒体兴起时,同样的焦虑又重演了一轮。

Francois特别提到自己回斯坦福给Mykel Kochenderfer当助教之后,接触了大量YC这一批里18到20岁的年轻人,发现他们"状态好得不行"。每一次技术跃迁,都伴随着不确定性,而不确定性最容易被夸张叙事填满。现在轮到了AI,人类灭绝的话题又回来了。

2. 工程问题,还是P(doom)超过10%

Francois把当下的叙事光谱摆在两端。一端是Yann LeCun反复提到的涡轮喷气发动机类比——这纯粹是个工程问题。Jensen Huang也表达过类似观点:让飞机安全很难,要保证舱门不会在起飞时脱落,起落架能正常放下收起,波音737的MCAS系统经过充分测试不会出故障。同样的逻辑适用于ACAS X——那套挽救过无数生命的飞机防撞系统。

另一端,是所谓"P(doom)在10年内超过10%"的说法,据称出自Jacob Coxen,他的原话是:"我认为人类更可能失去对AI的控制,并可能导致人类灭绝。"Francois没有评判孰是孰非,只是轻描淡写地提了一句——这光谱两端人物的H指数(学术影响力指标)其实有不小差距,"你们可以用这个来调整自己的先验概率"。

3. Hugging Face事件：标题说的和技术报告里写的,根本不是一回事

Slashdot的标题写着"OpenAI称其AI模型自行采取了行动"。Francois的反应很直接:OpenAI从没说过这句话,一次都没有。 另一个流传的说法是"一个失控的AI智能体在某科技公司横冲直撞"——同样不是事实。

真实情况是什么?系统是被一个exploit生成器用大约1200个智能体主动提示触发的。OpenAI随后发布了一份近60页的技术报告,详细复盘了整个"OpenAI–Hugging Face事件"。报告里写得很清楚:CO2监控被意外(或人为)关闭了,而如果监控在线,问题本可以被及时发现;另外,因为当时不在生产环境,一系列生产环境才有的护栏和安全措施也没有启用——这同样会提前拦截问题。可是外界流传的版本是:模型"黑化"了,"越狱"了,"逃出服务器"并"自我复制",现在正在"破解数学题、攻击澳大利亚政府"——下一步要干什么?

4. "10年内10%概率"这个数字,其实来自一道完全不同的问题

Francois顺着这个话题往下挖:那个被反复引用的"10年内10%"到底是哪来的?答案是2023年一篇名为《Thousands of AI Authors on the Future of AI》的论文。研究者向约1200名AI从业者提出了一系列问题,其中靠后的部分问了三个关于灭绝风险的问题——未来AI进展导致人类灭绝或类似程度永久性、严重削弱人类地位的概率是多少。第一个问题的时间范围是"T无穷",也就是永远;第三个问题问的是"未来100年"。

论文给出的均值和中位数,没有一个数字对应的是"未来10年"这个时间窗口——这正是现在被广泛引用的那个说法的原始出处。Francois拿自己打比方:如果2012年刚进斯坦福读AI时,有人问所有斯坦福教授"AI独立解决或大幅协助解决一道千禧年数学难题需要多久",大概不会有人给出一个靠谱答案,更不可能有人说"14年"。他猜那时候的共识可能是50年或100年。问1200个专业人士一个极难回答的问题,本身能提炼出的信号就很有限——人们往往会在对一件事知之甚少的情况下,编出一套听起来自洽、语气自信的说法。

5. 金门大桥消失在雾里那天

Francois提到了那期模仿Dario Amodei的SNL短剧——他替Dario感到有点不值,因为那个短剧把Dario塑造得比实际形象夸张得多,而他本人其实比Jacob Coxen和一部分强效利他主义(EA)圈子的人要沉稳得多。

接着他讲了一件自己开车时遇到的事。从Healdsburg开回来的路上，他一路在想今晚要讲什么，车开到金门大桥时，整座桥完全被雾吞没，什么都看不见。他觉得这个画面太合适了，忍不住拍了张照——差点因此撞车。未来是不确定的，我们手里只有先验概率：大桥大概还在那儿，所以我们选择继续往前开，用概率最大的那个判断去行动，等开近了、信息更多了，再决定要不要换挡、要不要停下来——在真正冲进桥还是冲进海湾之前。

Francois由此表态:他几乎完全不担心那种AI"产生灵魂、拥有意志，然后以自己的意愿在十年二十年内奴役甚至消灭人类"的剧本。在无限长的时间里，任何事都有可能发生，但这个结论对当下的决策没什么用处。

6. 真正该担心的,是开放权重模型落入坏人手里

Francois把自己的头号真实担忧讲得很具体:今天已经存在恐怖主义、生物武器、网络战和勒索攻击——他朋友在波兰的一家地方医院,就被一群俄罗斯黑客控制,整整关停了三周,也许这次攻击本身就用到了AI。真正会发生的变化是,强大的开放权重模型会让这类坏事变得更容易做,而且已经在发生了。

有人提出两种对策,Francois认为都行不通。第一种是禁止开放权重——他直言祝你好运,自己已经在车库里下载了Kimmy K3和GLM 52。第二种是给GPU注册登记——他车库里也有一堆小型算力盒子,除非挨家挨户搜查每一个搞AI的人,否则根本查不出谁手里有GPU;而且他随时可以在另一个国家租一块GPU，没人拦得住。

Francois讲到这里,话音未落——他的下一句话被这场记录定格在了"我不知道这要怎么……"。但他这一整段铺陈已经把立场摆得很清楚:AI安全真正的风险,不是科幻电影里那种自我觉醒的毁灭,而是现实世界里，强大工具落进了本就想作恶的人手里。而要应对这个真问题,靠的不是被头条带节奏的恐慌,而是回到可证伪的主张、同行评审的方法论,把工程问题当工程问题来解决——就像让飞机安全起降、让防撞系统真正管用那样,一步步把系统做对。