OpenAI又出安全事故，1100名AI员工请愿，但究竟会有什么影响？

抓住风口，看懂趋势

本期要点：AI新危机，是什么？我们要怎么办？

你好，我是王煜全，这里是王煜全要闻评论。

最近，就在大家都在关注韩国AI芯片股崩盘的风险时，一个更大且更现实的风险正在滋生，那就是AI驱动的攻击所带来的系统性安全问题。

7月28日，未来生命研究所（Future of Life Institute）发起了一份名为《掌控前沿》（Pacing the Frontier）的请愿书，得到了超过1100名AI公司核心员工的联合签署。这个请愿书希望美国政府建立国际协作机制，在必要时有意识地放缓前沿AI的发展速度。

签署者中包括了OpenAI首席科学家、Anthropic的四位核心联合创始人、Meta首席科学家、谷歌AI领域的副总裁等重要人员。

大家所担心的，就是AI性能不断攀升所带来的安全风险。

而且，就在不久前，OpenAI又出了一个不大不小的安全事件。

测试团队在衡量大模型在网络攻击任务中的能力上限时，关掉了一部分的安全拒绝机制，于是模型找到了新的攻击入口，最终突破了沙箱边界，触及了真实服务器里的内容。据报道，包括了Modal Labs平台上的一项真实客户资产。

虽然没有带来什么损失，但它确凿地证明，具备长时程规划能力的AI模型，一旦被赋予明确的目标，就能够主动分析系统限制、并利用未知漏洞获取权限，进而发起真实的攻击。

这一变化值得每个机构、每个公司、每个人引起谨惕，并做好准备。

AI安全危机

首先，AI正在推动网络攻击走向规模化。

今年4月，Anthropic开发出了超强模型Mythos。

出于安全考虑，他们没敢直接公开Mythos，而是通过“Project Glasswing”（玻璃之翼计划），联合40家科技巨头与基础设施企业，将Mythos用于扫描系统漏洞和压力测试。

短时间内，Mythos就发现了数千个高危漏洞，涵盖所有主流操作系统和浏览器，展现出远超人类专家的漏洞挖掘能力。但这反过来也表明，前沿AI模型已经具备大规模攻击IT系统的潜力。

此后，Anthropic向公众提供了能力和Mythos相同、但设置了安全护栏的新模型Fable 5，通过牺牲用户体验来换取安全性。

然而，Anthropic不可能独善其身。

一方面，OpenAI已经出现了至少两次安全事件，大模型公司对模型行为的约束能力是否可靠，令人生疑。

另一方面，业界普遍预测，大约在半年到一年，开源模型就能达到Fable 5的水平，届时，模型能力的扩散将更加无法控制。

而这个趋势背后具有重要的产业意义。

过去，网络攻击是个高强度、且难以大规模复制的工作。黑客往往需要耗费大量时间进行低成功率的试探，成本相对高昂。

但现在，AI加上Agent，就能不间断运行，可以同时尝试大量目标，并根据失败重新制定方案，再在成功之后，把攻击方案复制给更多Agent去自动化完成。

这就把网络攻击从“手艺活”变成了“工业化生产”。

也意味着，未来会有越来越多人雇得起一支不睡觉的AI黑客队伍。

但目前大多数网站和系统的防御体系，是否能应对AI所驱动的、全天候不间断的攻击呢？没人敢打包票。最有可能的情况是，不光守不住，而且漏洞多多。

只要有这样的威胁存在，每一家对网络有一定程度依赖的企业都将被迫缴纳一笔AI安全费，且需要毫不犹豫地尽快投入。

过去，企业使用AI，主要是为了提高效率、减少人力，或是开发新产品和服务来获取新的市场。这类投入并非强制，企业可以根据自身节奏选择早做或晚做。

但安全投入不同。

一家企业只要有服务器、数据库、员工账号或企业系统，就会面临被攻击的风险。

哪怕你自认为非常低调，但无法保证没人用AI寻找你的漏洞，而一旦被针对，大概率会被找到漏洞并形成破坏，后果就有可能是生产线停摆、数据泄露、用户信息流失，甚至是直接的资金损失。

所以，就在不久的将来，未来企业必须掏一大笔被动的AI预算，这些钱不创造收益，只是为了避免遭受破坏。

冰川期

不过，我们想指出的是，从产业层面来看，更危险的事情还在后面。

AI攻击能力和整体防御的能力不会同时成熟，从而带来一个AI安全的“小冰川期”，也就是攻击能力跑得太快，社会的防御体系却还没有跟上。

这个速度差，会导致大量老旧系统持续受到扫描和攻击，进而遭受勒索和数据盗窃；中小企业或供应链中的薄弱企业也有可能成为重点攻击目标，部分心存侥幸或能力不足的企业会遭受重大损失。

当然，大家也不用过于悲观，更不应因此否定技术进步的价值。

在人类的发展历程中，每一项新技术在拓展人类能力的同时，也会暴露旧体系中的新风险。社会通常会经历一段损失和适应的过程，但也能形成新的防护体系。

就像城市聚居提高了生产和协作效率，却也加速了传染病的产生和传播；全球航运创造了世界贸易体系，却也让疾病能在全球扩散。

然而，人类并没有因此放弃城市和航运，我们在事故和损失中逐渐建立起公共卫生、检疫和疫苗等应对新风险的配套技术和系统，把危害降低到了可控范围内。

包括在互联网刚普及时，病毒和木马的泛滥也让一些人质疑是否应该将所有电脑断联。

但好在，人类没有退回离线的世界，而是发展出了杀毒软件、防火墙、加密、备份系统等一整套数字防御体系，从而让你看到了这篇文章。

客观而言，现阶段，想要人为降低AI的发展速度不太可能。

AI竞争已经箭在弦上、不得不发，没有任何一方会主动停下脚步。想要靠一纸禁令来遏制技术发展的势头，既不现实，也难以执行。

就更不用说，大家仅仅是希望“减缓”发展速度，实际操作起来只会更加困难。谁该减缓，减缓到什么程度，谁来衡量和监督？都是难题。

因此，签署请愿书，更多还是一种表达态度或美好愿望的做法。

所以，AI时代，在新的社会防御体系形成之前，市场很可能会先经历一段事故频繁的时期。

我们想提醒的是，企业不应寄望于AI产业主动放缓步伐，也不能像鸵鸟一样假设攻击不会发生，或者自欺欺人地认为自己不会成为目标。此时，主动投入、积极防御才是正确的选择。

建议企业家们一定要未雨绸缪，早早用大模型对自己企业网络的安全性做好评估和优化。未来，企业能否防范住AI攻击，将决定自己能不能撑过这段混乱期，并进而进入新的发展阶段。

以上就是今天的内容，如果你也想掌握一线产业信息，并真正看懂科技产业，欢迎加入科技特训营学习，和我一起，先人一步，领先一路！

再做个提醒，新一期前哨AI夏令营又要开始了，科技特训营或AI小课历届会员还有优惠价，报名即将进入尾声，快快点击链接参加吧！

王煜全要闻评论，我们下周见。

↓长按图片扫码报名，先人一步，领先一路

↓点击报名前哨AI夏令营，带孩子赶上Agent浪潮！科技特训营或AI小课历届会员还有优惠价

最后， 鉴于公众 号推送机制的改变，你未来刷 到要闻评论的机会可能没那么多了，建议你加入粉丝群，第一时间 得到我的独家前沿分析 ，快快扫码加入吧！