北京
2020年，疫情最凶的那几个月，我在一个系统里发现了一个漏洞。通过这个漏洞，我可以访问巴西联邦系统，并借此调取任何巴西人的信息——想想看，这是超过2亿人的数据。这些记录基本上包含了一个人全套证件信息：身份证、CPF、护照、出生地、父母姓名、驾照、家庭住址、手机和座机号码，甚至包括此人是否身处证人保护计划。所以你能明白这有多严重，以及别人能拿这些数据做什么。
说实话，我当时不知道该怎么反应，立刻打电话给负责这个系统的机构——找到正确的联系方式本身就不容易，你显然不想把这种事说给错的人听。
接电话的人一开始完全不信，觉得这说不通（我也理解他的困惑，想象一下有人突然打给你，说些莫名其妙的话）。他问我是不是平民，我说是。几个小时后，他们回电，让我解释这个问题。到那时我觉得他们有点担心，但还是不太相信。等我把问题讲完，他们大概很快就意识到，这是一次重大漏洞。他们承认了问题，并且修复得非常快。
说实话，我不怪他们：疫情期间，同一批人正在拼命工作，而软件就是软件。我很高兴自己好歹帮上了一点小忙（至少我愿意这么想）。我从未从系统里导出过任何数据，后来也避免谈论这件事，因为一说出来，你就会被贴上“黑客”的标签——而这在我看来是种很蠢的说法。
六年之后，情况变了
那我为什么现在又说起这件事？2020到2026年之间，很多事都变了，机器学习开始以疯狂的速度推进（而且仍在推进），而且恰好发生在地缘政治最糟糕的时刻。到2026年，我们已经能看到涉及多种模型的网络安全事件报告，包括OpenAI在其技术报告里描述的那一起。虽然我不确定“模型逃出了安全防护”这个说法是否成立，因为OpenAI是主动关闭了分类器、降低了防护——这一点很多人并不知道——但这些模型现在对民族国家来说显然已经是个大问题。即便防护措施是实验室自己的选择，我们也必须承认，能力本身是真实的，而且显然不是所有人都会在开启适当防护的情况下跑评估（更糟的是，训练环节可能更复杂，因为在训练中，智能体也更容易找到绕过或利用防护的办法）。
随着中期训练、RLVR和长周期任务最近的进展，过去一年多里，很多实验室显然都在激进地扩张强化学习环境，用第三方公司，用模型来搭建环境、合成环境、提供奖励，形成一个“自我改进”的循环（加引号是因为这个词现在被用得太滥了），这个循环会以你的 rollout 潜力所允许的最快速度加速。
那个漏洞，现在可以被批量复制
这正是我反复回到2020年那段经历的原因。今天，我可以很轻松地搭一个强化学习环境，不仅复现当年我发现漏洞的那套设置（这和OpenAI报告里的场景并没有太大差别——报告里，一个智能体通过OpenAI内部的Artifactory利用了SSRF），还能为它开发一套课程。
于是我忍不住想：前沿实验室现在正借助网络安全公司的支持，搭建多少个这样的环境？那些永远没机会被AI渗透测试的政府系统，又会发生什么？我找到的那个漏洞，不需要任何非凡的专业技能，只需要对细节的注意力。而这恰恰是最让我担心的部分。接下来会发生什么？面对能力更强、速度更快、还能轻松规模化的智能体，答案并不乐观。
像气候问题一样，这是行星级问题
就像气候问题一样，机器学习如今已经是一个行星级问题。正如Yuk Hui在《机器与主权：为了行星思维》一书里提到的（我向任何感兴趣的人推荐这本书），我们至今仍未以行星视角思考，但我们必须学会这么做，哪怕需要相当长的时间。我认为唯一的出路，是先走出技术恐惧与技术狂热之间的两极对立，然后开始动手做解决方案。前沿实验室里显然已经有很多人在做这件事。
但在我看来，只要思考还被地缘政治利益牵着走，找到解决方案就是不可能的任务。不幸的是，新兴经济体和发展中国家会是最脆弱的——它们本来就很少能获得算力。想到这一点让人非常难过。我也忍不住想象：在某个地方，存在一个和2020年我发现的那套系统几乎一样的复现环境，几乎一样的系统，几乎一样的漏洞。多个智能体每秒进入它成千上万次，生成轨迹，直到其中一个找到那个漏洞。区别在于，当这套东西被投入使用时，在所有这些尝试中，没有任何人会拿起电话。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
