诺贝尔奖得主Hassabis:AI将带来核和生物安全风险,我们没时间了!

当地时间7月14日，Google DeepMind CEO、诺贝尔化学奖得主Demis Hassabis发布长文《前沿AI框架与新时代的曙光》，系统阐述了他对AGI临近时代的判断，以及未来全球 AI 治理框架的设想。

在他看来，人工通用智能（AGI）“很可能只需短短几年就会到来”，而今天的人类正“站在奇点（Singularity）的山麓”，即将迎来“人类一个新时代的曙光”。

他认为，AGI的意义甚至不能与互联网或移动互联网相比，而更接近于人类发现电力或火，“我们实际上找到了一种让沙子学会思考的方法。这堪称奇迹。”

与此同时，Hassabis也强调，在前沿模型能力快速提升、网络安全、生物安全等风险不断增加的背景下，全球需要尽快建立一套动态、严格、可持续更新的前沿 AI 标准体系。

他建议美国率先成立类似金融业监管局（FINRA）的独立标准机构，对达到“Frontier-class（前沿级）”能力的大模型实施统一测试与评估，并最终推动形成全球统一的前沿 AI 安全标准。

以下为全文——

这是人类历史上的一个关键时刻。

人工通用智能（AGI）——一种具备人脑全部认知能力的系统——很可能只需短短几年就会到来。

当我们在未来几十年回望今天时，我认为，我们会意识到自己正站在奇点（Singularity）的山麓。

这不仅如此，更意味着人类一个新时代的曙光已经出现。

我一生都在致力于 AGI，因为我始终坚信，只要能够以负责任的方式构建和部署，它将成为人类有史以来最有益、最具变革性的技术之一。

AGI 无法与一般意义上的技术突破相提并论，哪怕是互联网或移动通信这样影响深远的发明也不能相比。

它更接近于人类发现电力或火的意义。

如果仔细想想，我们实际上找到了一种让沙子学会思考的方法。

这堪称奇迹！

这项技术所带来的影响规模将前所未有，也许会以工业革命 10 倍的影响力、10 倍的速度 改变世界。

它将帮助我们解决社会面临的一些最重大问题，从加速药物研发，到开发新的清洁能源，再到创造全新的先进材料。

我们甚至可能走到这样一个阶段：资源不再成为限制人类进步的瓶颈，由此开启一个令人惊叹的丰裕新时代。

前沿时代的挑战

AI 已经开始为现实世界带来切实的收益。但如果我们想真正兑现它的巨大潜力，就必须在这一关键的发展阶段保持深思熟虑、谨慎前行。

随着我们越来越接近 AGI，现在迫切需要采取行动，应对可能出现的风险。

我们已经看到，前沿模型给网络安全带来了新的挑战；随着能力持续提升，核安全、生物安全等其他风险也可能很快出现。

展望未来，我们还需要建立强有力的安全保障机制，以确保人类能够持续控制那些越来越具备自主代理能力（agentic）、能够递归式自我改进的系统，并应对那些只有随着时间推移才会逐渐显现的未知问题。

我始终相信，人类的智慧和创造力足以解决任何问题。

我相信，AI 相关的技术风险是我们能够共同缓解的挑战。但前提是，我们必须给自己留出足够的时间和空间，把眼前这关键的一步走对。

而目前，无论是整个 AI 行业，还是整个社会，我们都没有做到这一点。

眼下，我们正深陷一场极其激烈、层层叠加的商业竞争和地缘政治竞赛。

这些竞争确实推动了快速进步，也加速释放了 AI 所带来的巨大红利；但与此同时，前沿技术的发展速度，已经超过了我们对它自身的理解速度。

世界上没有任何人能够确定接下来会发生什么，即使是最顶尖的专家之间也存在分歧。

当不确定性如此之大、赌注如此之高时，以谨慎而乐观的态度前进，是最合理、也是最正确的策略。

这意味着，我们需要制定既鼓励创新、又激励责任与安全的公共政策；推动各国围绕关键安全问题开展国际合作；同时认真思考如何部署 AI，使其真正造福整个社会。

建立前沿 AI 标准机构框架

AI 的快速进展，需要一种全新的前沿 AI 能力测试方式。这套体系必须具备动态性、适应性和严格性。

凭借美国当前的经济实力和技术优势，它完全有条件率先建立这样一个框架。

美国可以成立一个新的标准机构（Standards Body），其模式类似于由联邦政府监管的公私合作机构或行业自律组织，例如美国金融业监管局（FINRA）。

该机构应设立董事会，其中包括独立的顶尖技术专家以及开源社区代表。

为了吸引世界一流技术人才，并提供开展大规模测试所需的算力资源，这一机构需要获得充足的资金支持，而资金很可能主要来自产业界。

该标准机构将负责制定评估协议，并与相关联邦机构及美国国家实验室合作，对涉及国家安全的重要领域开展测试。

如果某一模型在由标准机构制定、并持续更新的一系列基准测试中达到规定门槛，它将被认定为“前沿级（Frontier-class）模型”。

拥有符合这些标准模型的机构，则将被认定为“前沿实验室（Frontier Labs）”。

这些实验室将被鼓励采用最佳实践，例如：

• 发布包含技术细节的模型卡（Model Card）；
• 建立完善的内部网络安全体系；
• 对关键岗位人员进行背景审查；
• 为安全与安保研究提供充足资源；
• 以及采取更多相关措施。

在初期阶段，前沿实验室将自愿在模型正式发布前最多 30 天，将模型提交给标准机构进行审核。

一旦评估体系被证明足够有效且可靠，便可以迅速将其制度化，届时所有前沿模型都必须通过该项测试，才能部署到美国市场。

与此同时，各实验室还应与标准机构合作，共同修复模型发布后发现的重大安全漏洞。

模型评估应包括严谨的科学测试，重点覆盖网络安全、生物威胁以及其他高风险领域。

针对具备代理能力（Agentic AI）的模型，还应专门设计测试，以检查模型是否会试图绕过安全护栏、是否存在欺骗行为，并确保行业最佳实践得到落实，例如：

• 对 AI 生成图片添加数字水印；
• 输出人类可读的推理 Token，以帮助理解模型的推理过程。

这些评估标准应定期更新，初期可按季度进行。

已经失效或趋于饱和的测试基准应及时淘汰，并由新的评估体系替代。

最初，这些评估标准可以与前沿实验室共同制定；但长期来看，标准机构应建立独立研发能力，自主开发实验室无法提前接触（held-out）的测试，以避免针对公开基准的过拟合。

标准机构还可以与美国政府合作，培育第三方审计机构生态，协助开展模型评估，并共同开发新的基准测试体系。

这一方案最大的优势，在于它聚焦技术本身，同时兼顾创新发展，并激励负责任的行为。

它能够随着 AI 的快速发展不断演进，并针对新识别出的重大风险持续调整。

如果未来形势更加严峻，该框架还可以进一步升级，包括在必要时协调各家前沿实验室共同放缓研发速度。

成为“前沿实验室”本身将是一项极具声望的身份认定。

任何机构，只要开发出的模型达到规定基准，都可以获得这一资格。

这一框架适用于所有前沿级模型，无论它们来自哪个国家，也无论采用开源还是闭源方式。

但对于尚未达到前沿水平的模型，例如创业公司或学术机构开发的模型，则无需纳入这一监管流程。

由美国率先推动这一努力，将为建立全球统一的前沿 AI 国际标准提供一个坚实起点。

由于这项技术将影响整个地球，理想情况下，这一框架应推动国际社会就如何管理最严重的风险达成共识，同时确保所有人都能够获得 AI 带来的机遇，并从中受益。

未来尚未写定

AGI 有潜力成为推动科学和医学进步的终极工具，并带来巨大的生产力提升和经济增长。

但要实现这一目标，我们首先必须夯实技术基础：围绕全球共同框架开展协作，采用最严格的科学方法，并汇聚世界最优秀的人才，共同应对眼前的挑战。

即使我们解决了这些艰难的技术问题，未来仍然会出现更加复杂的经济与哲学问题需要面对：

在一个资源不再稀缺的世界里，我们需要怎样的新经济模式，才能让每个人都拥有发展的机会？

我们希望遵循怎样的价值观生活？

意义与目标将意味着什么？

甚至，人类自身的存在状态又将发生怎样的变化？

这些问题显然不能、也不应该只交给技术人员决定。

它需要整个社会共同参与，一起定义人类历史的新篇章。

围绕 AI，人们既充满兴奋，也充满不确定性。

这两种情绪都完全合理。

但未来尚未写定。

我们必须利用 AGI 到来之前这段宝贵的时间窗口，共同塑造这项技术，使其真正造福全人类。

今天我们共同作出的每一个选择，都将决定下一阶段文明将如何展开。

如果我们能够安全地将 AGI 引入世界，我们就有机会迈入科学发现与社会进步的新黄金时代，并迎来一个人类空前繁荣的光明未来。