AI大佬集体示警新危机！但AI不会停，是最强AI快不能随便开源了

抓 住 风 口 · 看 懂 趋 势

本期要点：AI危机来了？莫慌，但~

你好，我是王煜全，这里是王煜全要闻评论。

最近最火的事情，可能是“AI 危机论”又起来了，甚至还引起了美国股市的小幅震荡。

最开始，9 月 8 日，Anthropic 一位做了三年大模型预训练的研究员 Jacob Coxon 公开辞职，并说道，Anthropic 和 OpenAI 正在打造能够自我改进的超级智能，是在拿人类的生命下注。

Jacob Coxon

紧接着，Anthropic 对齐科学的负责人公开应和，说未来十年，AI 导致人类灭绝的概率超过 10%，还补了一句，说至今还没找到解决超级智能对齐问题的方案。

后来，9 月 10 日，Anthropic 披露，已经发现并阻止了 5 起可能被用来支持生物武器研究的案例。

几天后，前 DeepMind 的一位安全研究员也公开说，他真心认为先进 AI 可能杀死所有人。

于是，全网又弥漫着一股 AI 恐慌的氛围。

AI 毁灭人类，过去几年这种话大家听过不少。那这一次，究竟是末日真的来了，还是又一个“狼来了”？

我们认为，情况虽然没有这些人说得那么吓人，但安全问题，过去只存在于理论推演，现在正在变成值得探讨的一个可管理的工程问题。

PART 01

踩刹车

首先，这次不是简单的“狼来了”。

最典型的进展，还是近期大热的 GPT-6 Astra。OpenAI 在发布之初，就把 Astra 划进自己安全框架里的“Critical 网络安全能力”级别。

这是什么意思？

就是 OpenAI 认为，这个模型已经高过“会写黑客代码”这个层次。

给它合适的工具和权限后，它就能在防护严密的真实系统里，寻找此前没人发现的漏洞，并且做成可用的攻击方案。

OpenAI 还做了一个很关键的测试。

为了避免题目早已混进训练数据，它专门拿今年 6 到 8 月才披露的 20 个高危漏洞重新测试。结果 Astra 不但能利用已有漏洞，还在过程中发现并利用了两个此前未知的“零日漏洞”，也就是连软件厂商自己都还没发现的漏洞。

当然，并不是说，Astra 已经走到了走到毁灭人类那一步，但模型的危险能力，确实成为了 AI 大模型公司极其重视的一方面。

可想而知，既然有危险，公众最直觉的反应，自然就是让 AI 慢下来，甚至停下来。

但 AI 有可能停下来吗？客观上说，不会。

一方面，AI 能找到和利用 IT 系统的漏洞，与毁灭人类之间，显然还有极其遥远的距离。

另一方面，更现实的是，企业之间、国家之间也有竞争，谁先单方面减速，谁就要承担被对手超过的风险。

据报道，OpenAI 今年夏天的某个时间段，确实短暂踩过一次刹车，暂停了部分高风险工作，但做完安全加固之后，Astra 照样发布，研发照常继续。

这个动作其实很有代表性。

真正的做法，不会是简单的一刀切，而是危险能力出现后，企业会踩一脚刹车，补上护栏后，再继续往前开。

而且，这只是单个企业的自发行为，整个产业并不会因此停摆。

PART 02

谁能拿到

可见，真正的问题就变成了，看一项技术危不危险，不能只看它有多强，还要看谁能拿到这些危险的能力，拿到之后管不管得住。

这就像是，核武器当然很危险，但核技术的治理核心从来不只是核裂变理论，是核原料的浓缩能力。

说白了，原理可以公开，但关键材料和完整工程体系一定要可以被严格控制。

所以，评价新技术的风险，可以用一个简化模型，那就是，危险 = 能力 × 失控概率。

这么看，未来 AI 比较有风险的点，主要在于开源大模型的失控。

所谓开源大模型，严格说，是公开了模型权重。所以，模型控制的关键，是模型权重能不能被下载到第三方的机器上，脱离原厂运行。

如果可以，就容易失控。因为第三方可以是任何人或组织。

Anthropic的CEO，Dario Amodei

闭源模型，再怎么有问题，总有公司在控制它。出了漏洞，公司能统一打补丁，发现有人滥用，公司能封账号、调权限，甚至直接下线大模型。

也就是说，闭源模型，始终有一条持续干预、避免失控的通道。

反观开源大模型，跑在全球个人的、私有的服务器上，原厂没办法管。

出了事，原厂只能发个新版本、呼吁大家升级，但没法让散落在世界各地的旧副本全部消失或者失效。

那么，新的问题也就来了，开源模型距离拥有这个足够危险的能力，还有多久？我们现在该担心吗？

如果还差三年、五年，大家还可以不那么担心，可以有时间研究补救措施，但其实，这个差距已经在按月计算了。

2025 年的时候，产业普遍认为，开源模型和前沿闭源模型的差距是 6 到 10 个月。

到现在，我们也还是认为，至少在网络安全这一个维度上，差距仍然可能只有几个月。

今天还只存在于最前沿闭源模型里的那些所谓危险能力，开源模型很快也就会具备了。

所以，我们判断，AI 不会因为危机论停下来，真正会变的，是 AI 危险能力的扩散方式。

这不是说，开源就会结束，未来可能出现的，是新的管理方式。

比如，最前沿、最高风险的能力，访问方式越来越受控；已经成熟、风险较低的能力，继续开放，发挥生态价值。

但究竟谁会推动这个变化，现在还很难下结论。可能是监管，可能是行业自己的安全自觉，也可能是商业逻辑。

我们觉得，前两者不一定会是决定性的，但第三点却最有可能会决定最终的走向，值得继续观察。

现在很多公司做开源模型，其实一种竞争手段，想着先把生态做起来，把开发者吸引过来，也就能提升自己的影响力。

但当模型已经足够强，企业能够直接靠 API 和服务获得可观收入时，也许就没有特别强的动力去把自己最强的模型开放出去。再加上开源最强模型的巨大风险，很有可能促成开源模型最终走向闭源。

当然，这可能反倒会造成这些开源模型公司，在闭源后赢利能力上升。

因此，AI 到底会不会毁灭人类，这个问题可能很难回答。但当 AI 真的跨过某些危险能力线以后，产业确实需要确定，它该以什么方式进入社会。

最后，你觉得，未来 AI 能力应该无限制开放吗？又应当注意什么？欢迎在评论区聊聊。

前哨 AI 小课 · 第六季

一顿火锅钱，带你紧跟 AI 浪潮

9 月底前报名享受 499 元早鸟价，想要学习的朋友抓紧点击链接上车！

↓点击报名前哨AI小课，赶上Agent浪潮！

创新地图 · 招募

由于业务发展，创新地图想招募一位负责市场活动的伙伴。感兴趣的朋友可以扫码上传简历，希望在未来的工作中能见到你！

可扫描此处二维码，花2分钟填写表单，让我们更快认识你，或者将简历请发送至 talent@innovationmap.cn

科技特训营

更多科技产业的一线洞察和底层规律，欢迎加入科技特训营学习，和我一起，先人一步，领先一路！

王煜全要闻评论，我们明天见。

↓长按图片扫码报名，先人一步，领先一路

最后， 鉴于公众 号推送机制的改变，你未来刷 到要闻评论的机会可能没那么多了，建议你加入粉丝群，第一时间 得到我的独家前沿分析 ，快快扫码加入吧！