网易首页 > 网易号 > 正文 申请入驻

不吐字也能思考,AI的Token生意要崩了?

0
分享至

GPT-6(内部代号Astra)发布在即,一份来自《The Information》的独家爆料,提前泄露了OpenAI最新的技术底牌。这一次的核心升级,是一套名为“循环深度”的架构级革新,它正在颠覆我们熟知的推理模式。

过去,大模型想解难题,会吐出一长串“思维链”;而“循环深度”直接让模型在内部的循环块里反复思考,然后给出最优解。这充分释放了模型的推理潜力,还节省了思维链中间文本带来的显存占用与带宽成本。


同时,这也带来新的安全问题。过去,“思维链”就像是AI的“心流日记”。虽然OpenAI的o1等模型已经隐藏了思维链,但那只是产品层面的“不可见”,后台数据依然有迹可循。这一次,OpenAI从架构层面把思维链“黑盒化”,连OpenAI首席科学家Jakub Pachocki都开始担忧,不希望因为《The Information》的报道,倒逼行业冲向“不可监控状态”的无序军备竞赛。

这还是一种深刻的“去文本化”的技术变革。对于AI而言,先将思考转化为线性、离散的人类语言文字,再重新解码识别的交流方式,其实是一种低效的“计算中介”。如今的大模型,正在试图抛弃人类语言,直接在“思想维度”里完成计算了。

当AI不再依赖输出文字来思考时,那座完全建立在“Token”计费之上的庞大AI商业帝国,根基开始松动了。

循环深度:当推理发生在“隐藏空间”

在切入循环深度这一技术话题时,一个值得关注的点是,为什么大模型既没增加参数,也没增加数据,仅仅在内部“多算了几轮”,性能就变强了呢?

传统Transformer的计算逻辑,像一条固定长度的单向流水线。从第一层开始输入Token,每生成一个新词,背后的算力都必须把所有物理层从头到尾地走一遍。这些层数是固定的,如果遇到简单的问题,走完所有层会造成算力的浪费。如果遇到难题,层数不够用,只能基于浅层理解“硬凑”答案。

为了弥补这一短板,行业想出了思维链(CoT)的办法,让模型把中间步骤写出来,再读回去接着算,相当于临时“加长”了思考深度。但本质上模型的层数没变,算力没有花在真正的“核心思考”上,又被浪费在生成、解析中间文字上。

而循环深度技术的核心逻辑是把核心运算层做成一个可循环的“转盘”,同一个数据可以反复经过同一组参数层,原地迭代打磨,直到推导充分了再输出。这样,“计算长度”变成了“计算深度”问题,算力的重心也从“生成思考过程”,花到了“真思考”上,其效率提升是十分惊人的。

早在2025年,学界有一篇论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》,亲自验证了这种思路的效果:一个仅35亿参数的小模型,通过内部循环32次,仅用相当于500亿参数模型的计算负载,在数理逻辑和代码任务上的表现就足以逼近甚至超越传统稠密大模型。

而且因为模型内部反复调用的都是同一套核心计算引擎,无论它在潜空间里把同一个数据反复运算多少遍,它都可以在同一块显卡内存空间里直接复用,让推理阶段的硬件显存开销成功实现了“封顶”。

与MoE深度融合:用时间换深度

这种技术正在和混合专家架构(MoE)走向深度融合,成为行业探索新方向:Recurrent MoE。

传统MoE里每个专家单次传播只激活一次,本质是“用空间换广度”;接入循环深度后,同一个向量每轮迭代都能重新路由到不同专家,同一个专家可以被反复调用打磨细节,变成“用时间换深度”,把参数的潜力榨到极致。

它不再用长篇大论的思维链(CoT)来凑字数,而是将所有的算力倾注在了看不见的纯逻辑推演中。这是全行业“去文本化”的一个缩影。大模型的核心思考,正在从人类看得懂的“文字空间”,彻底搬进了看不见的高维“向量空间”。

对大模型来说,把高维语义压缩成一串线性的文字,再重新解码成向量去计算,本身就是个充满信息损耗的低效路径。循环深度让所有逻辑推演、路径排查、方案验证,全部以数学形式在连续潜空间里完成,这远比语言符号更准确高效。

尽管循环深度还没在商业大模型里大规模落地,但业内纷纷展开探索,从OpenAI Astra的核心技术,到Meta内部探索的“连续思维链”,再到大厂关注的“椰子项目(COCONUT)”,都是这一套思路的延伸。

模型之间还要靠文字聊天吗

既然模型内部思考不用Token,那模型间的协作还需要文字沟通吗?今早在X上爆火的俄罗斯初创模型公司Mostik,正好给出了答案,用一种新的AI通信范式,把人类语言从操作系统降级为显示驱动。

在传统的多模型协作中,模型与模型之间的沟通如下,模型A算出了答案,先翻译成人类语言,然后模型B再破解这些语言,读取Token。这种方式较为低效,成本也高。

Mostik直接取消了“文本中转”这一环,为模型间搭了一座“桥”,而这座桥可以理解为“机器心灵感应”。具体而言,他们训练了一个轻量的桥接矩阵,把大模型理解问题后的高维隐状态,直接投影进小模型的输入潜空间。整个过程不生成任何一个Token,两个原模型的权重也完全不用微调,信息在纯向量层面上畅通无阻。

这种思考来自一种数学的思维,其创始人Sasha Malysheva带领一众数学博士,联手2010年菲尔兹奖得主Stanislav Smirnov,发现不同模型的潜空间,存在天然共通的语义流形。

虽然对齐全量权重是艰难的事情,但为模型间搭一座小桥,却足以让语义互通。而且这种方式是一种高精度的完整还原,不改动任何一个原模型的权重。这让它体积极小、训练成本极低。

在实验中,他们尝试把GLM-5.2(753B)和Qwen-3.5(4B)搭了一个桥,昂贵的云端大模型在关键难题上动脑后,然后把产出结果传给端侧小模型执行。结果混合系统的推理成本仅为GLM-5.2的二十分之一,跑出了相当于顶级模型近80%的准确率。在极其严苛的ARC-AGI排行榜上,这个“拼凑”的轻量化方案一举斩获了第一名,得分远超预期。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
有人发帖说日本要崩盘了,上半年超5千家企业倒闭了,网友却说:日本就业率高达98%,全球最高!

有人发帖说日本要崩盘了,上半年超5千家企业倒闭了,网友却说:日本就业率高达98%,全球最高!

黯泉
2026-09-06 19:40:25
默茨无力回天,德国选择党取得压倒性优势,72岁前总理再度出山

默茨无力回天,德国选择党取得压倒性优势,72岁前总理再度出山

凡知
2026-09-06 15:14:58
贝克汉姆31岁大儿媳惊艳威尼斯,大布蹲身护花,“只会围着妻子转”引热议

贝克汉姆31岁大儿媳惊艳威尼斯,大布蹲身护花,“只会围着妻子转”引热议

译言
2026-09-06 10:48:41
大S闺房曝光!太过诡异像灵堂引人不适,难怪大师预言她活不过50岁

大S闺房曝光!太过诡异像灵堂引人不适,难怪大师预言她活不过50岁

瞎说娱乐
2026-08-27 11:09:48
提高居民收入其实只有一个选择:尊重市场

提高居民收入其实只有一个选择:尊重市场

生命可以承受之轻
2026-08-26 09:13:54
我国科学家重大发现:银河系根本不是扁平圆盘

我国科学家重大发现:银河系根本不是扁平圆盘

心中的麦田
2026-09-06 20:58:00
平野美宇4-1早田希娜夺双冠!日本3冠收官,男单冠亚军将首轮相遇

平野美宇4-1早田希娜夺双冠!日本3冠收官,男单冠亚军将首轮相遇

叮咚体坛
2026-09-06 19:48:31
重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

任心荒芜h
2026-09-06 10:46:33
输了是16强,赢了就是传奇!郑钦文下一战乎560万巨奖,更关乎一口硬气

输了是16强,赢了就是传奇!郑钦文下一战乎560万巨奖,更关乎一口硬气

眼界纵横
2026-09-06 08:00:33
老登资产年轻人不接盘后,刚需都消失了!

老登资产年轻人不接盘后,刚需都消失了!

黯泉
2026-09-06 19:22:13
高校思政专职教师数量越多,我们离诺贝尔奖越远

高校思政专职教师数量越多,我们离诺贝尔奖越远

细雨中的呼喊
2026-09-05 07:04:43
助攻双响+一条龙绝杀!昔日英超德甲金靴150万欧重返西甲4轮4球2助

助攻双响+一条龙绝杀!昔日英超德甲金靴150万欧重返西甲4轮4球2助

狍子歪解体坛
2026-09-06 12:38:14
21世纪世界最伟大的 10 位数学家(综合影响力参考排名)

21世纪世界最伟大的 10 位数学家(综合影响力参考排名)

林子说事
2026-09-05 02:35:10
华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

大卫聊科技
2026-09-04 13:47:51
一度领跑!德比斯蝉联季军 最后时刻绝杀对手 连续2场登领奖台

一度领跑!德比斯蝉联季军 最后时刻绝杀对手 连续2场登领奖台

念洲
2026-09-06 20:02:33
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
男孩真正开窍的黄金年龄,大多集中在这3个阶段,家长别急着放弃

男孩真正开窍的黄金年龄,大多集中在这3个阶段,家长别急着放弃

户外阿毽
2026-09-05 07:36:49
新版Switch 2电池能自己换了,代价是重了12克

新版Switch 2电池能自己换了,代价是重了12克

渡川5
2026-09-05 20:16:45
瓜迪奥拉谈梅西统治力:哈兰德姆巴佩再强,也难复制他的传奇

瓜迪奥拉谈梅西统治力:哈兰德姆巴佩再强,也难复制他的传奇

体育闲话说
2026-09-06 19:12:39
中超积分榜有变!云南玉昆升第5,山东泰山下跌,成都蓉城夺冠暂缓

中超积分榜有变!云南玉昆升第5,山东泰山下跌,成都蓉城夺冠暂缓

老牛体育解说
2026-09-06 21:36:31
2026-09-06 22:16:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
234文章数 80关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

本地
时尚
教育
健康
公开课

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

金秋最流行的鞋子,“红色”更时髦!

教育要闻

2905人!长江大学2026级研究生新生大数据出炉!

脑梗取栓成功≠活下来,还有这三关

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版