为什么GPT-6 Astra的发布,让OpenAI的总裁布洛克曼(Greg Brockman)说出了 “我们进入AGI时代”?
其中最亮眼的主要是因为ARC-AGI-3评测,在一个增强型的Harness帮助下,Astra得分99.9%。饱和了!
![]()
此外,支持布洛克曼判断的,是Astra几种能力同时发生跃迁:
进一步向行动跨越。 Astra已经能直接操作浏览器、Excel、CRM、专业软件,完成填税表、工程设计、网站开发等多步工作。OpenAI在OSWorld测试中报告72.6%,且完成时间较GPT-5.6 Sol缩短约47%。
陌生环境学习。 ARC-AGI-3显示的不是知识量,而是探索、在线学习、因果建模和适应能力。这正是过去LLM最受质疑的一块。
跨专业领域的广度。 Astra同时在计算机使用、软件工程、数学、科学和网络安全上达到前沿水平;FrontierMath Tier 4达到98%,ExploitBench达到100%。
自主性的质变。 Astra成为OpenAI第一个达到“Critical”网络安全能力阈值的模型:在拥有适当工具和权限时,可以不需要人逐步指导,自主发现未知漏洞并设计利用方法。这比一道考试得高分更接近独立工作的定义。
训练本身开始出现AI参与AI改进。 OpenAI称Astra是其首次让其他模型在训练监督中发挥重要作用的前沿模型。这还远不是递归自我改进,但方向已经出现。
这些加在一起,已经开始接近OpenAI长期采用的AGI定义:“高度自主、能够在大多数具有经济价值的工作上超过人类的系统。”
不过, ARC-AGI-3的创始人肖莱(Francois Shollet) 再次强调:“解决 ARC-AGI-3并不能证明一个系统已经实现了AGI。它从来就不是被设计成一条‘终点线’”。
“ARC-AGI-3 测试的,确实是我们认为一个AGI系统应该具备的那些正确的、定性的能力特征——比如:在不确定性下进行探索、在没有明确指令的情况下适应环境、从有限数据中建立因果世界模型,等等。 但这些能力在 ARC-AGI-3 中所体现的规模都很小。”
实际上,2024年底,当OpenAI发布推理模型o3时,ARC-AGI-1的分数跳跃至87.5%,逼近饱和。要知道,ARC-AGI-1从2020年的GPT-3的0%进步到2024年GPT-4o的5%,用了整整四年。当时肖莱撰文,认为由于o3具备了任务建模的能力,从而突破了原先模型记忆和提取的范式,得分取得了突破。但仅仅是饱和而已。
2024/12/21 阅读全文>
什么是ARC-AGI-3?ARC最早来自肖莱 2019年的论文On the Measure of Intelligence。ARC原意是抽象与推理集( Abstraction and Reasoning Corpus),其本意并不是智能已经掌握了多少技能,而是面对陌生任务时,智能获得新技能的效率有多高。
肖莱认为,无限数据、无限算力和无限预训练,在某种意义上都可以“购买能力”,却可能掩盖真正的泛化能力。ARC-AGI-1和2主要还是静态视觉推理题,到了2026年正式推出的ARC-AGI-3,变成了交互式推理。
ARC-AGI-3实际上是一组非常抽象、类似小游戏的环境。AI进入后,没有说明书,没有游戏规则,甚至没有人告诉它怎样才算赢。模型必须自己行动、观察结果、建立假设、推翻错误假设、寻找目标,然后制定计划继续行动。官方正式测试集由大量原创环境和多级任务组成;人类参与者无需事先训练即可解决所有环境。
如此评测,其实已经是一个最简化的智能体认知闭环。那它与真实的人类智能之间,还有哪些差距?下面是肖莱今年3月份展示的一张PPT:
![]()
人类智能在深度和规模上要大得多:
学习时间尺度大约高4个数量级:人类是在几十年中建立世界模型,而不是几秒或几分钟
世界模型的复杂度大约高4–5个数量级
可采取行动的空间大约大3–4个数量级
而ARC-AGI-3只是试图在一个非常缩微的世界里建立一个世界模型,它充其量只是AGI的一个必要条件,远非充分条件。
为了避免误解和行业误用,ARC-AGI-3的官网强调:
ARC-AGI系列的目标,是衡量当前人工智能与AGI之间尚未消失的“剩余差距”(residual gap)。我们将AGI定义为:一个系统能够获得人类可以掌握的任何技能,而且获得这些技能的效率与人类相当。
尽管如此,前沿模型仅用了半年时间就把这个基准做到饱和,而不是肖莱之前预计的一年时间,所以,肖莱认为,接下来 AI 进步的速度会让很多人感到惊讶。
肖莱的团队目前仍在开发 ARC-AGI-4,将在 2027 年第一季度发布。前沿模型将会再一次证明,尽管我们距离AGI仍然有差距,但正在以更快的速度接近。
最近黄仁勋已经不止一次明确说“我们已经实现AGI”。8月底他又说,对很多任务可以认为已经实现AGI,随后马上称这种里程碑本身“毫无意义”,真正重要的是AI已经能够自主学习、完成有用工作并产生“可以赚钱的tokens”。
马斯克近一年来也不断把Grok 5与AGI一起炒作,无非“Grok 5可能达到AGI”、“Grok 5就是AGI/接近无法区分的AGI”之类的预测和背书,营销而已。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.