网易首页 > 网易号 > 正文 申请入驻

不吐字也能思考,AI的Token生意要崩了?

0
分享至

GPT-6(内部代号Astra)发布在即,一份来自《The Information》的独家爆料,提前泄露了OpenAI最新的技术底牌。这一次的核心升级,是一套名为“循环深度”的架构级革新,它正在颠覆我们熟知的推理模式。

过去,大模型想解难题,会吐出一长串“思维链”;而“循环深度”直接让模型在内部的循环块里反复思考,然后给出最优解。这充分释放了模型的推理潜力,还节省了思维链中间文本带来的显存占用与带宽成本。


同时,这也带来新的安全问题。过去,“思维链”就像是AI的“心流日记”。虽然OpenAI的o1等模型已经隐藏了思维链,但那只是产品层面的“不可见”,后台数据依然有迹可循。这一次,OpenAI从架构层面把思维链“黑盒化”,连OpenAI首席科学家Jakub Pachocki都开始担忧,不希望因为《The Information》的报道,倒逼行业冲向“不可监控状态”的无序军备竞赛。

这还是一种深刻的“去文本化”的技术变革。对于AI而言,先将思考转化为线性、离散的人类语言文字,再重新解码识别的交流方式,其实是一种低效的“计算中介”。如今的大模型,正在试图抛弃人类语言,直接在“思想维度”里完成计算了。

当AI不再依赖输出文字来思考时,那座完全建立在“Token”计费之上的庞大AI商业帝国,根基开始松动了。

循环深度:当推理发生在“隐藏空间”

在切入循环深度这一技术话题时,一个值得关注的点是,为什么大模型既没增加参数,也没增加数据,仅仅在内部“多算了几轮”,性能就变强了呢?

传统Transformer的计算逻辑,像一条固定长度的单向流水线。从第一层开始输入Token,每生成一个新词,背后的算力都必须把所有物理层从头到尾地走一遍。这些层数是固定的,如果遇到简单的问题,走完所有层会造成算力的浪费。如果遇到难题,层数不够用,只能基于浅层理解“硬凑”答案。

为了弥补这一短板,行业想出了思维链(CoT)的办法,让模型把中间步骤写出来,再读回去接着算,相当于临时“加长”了思考深度。但本质上模型的层数没变,算力没有花在真正的“核心思考”上,又被浪费在生成、解析中间文字上。

而循环深度技术的核心逻辑是把核心运算层做成一个可循环的“转盘”,同一个数据可以反复经过同一组参数层,原地迭代打磨,直到推导充分了再输出。这样,“计算长度”变成了“计算深度”问题,算力的重心也从“生成思考过程”,花到了“真思考”上,其效率提升是十分惊人的。

早在2025年,学界有一篇论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》,亲自验证了这种思路的效果:一个仅35亿参数的小模型,通过内部循环32次,仅用相当于500亿参数模型的计算负载,在数理逻辑和代码任务上的表现就足以逼近甚至超越传统稠密大模型。

而且因为模型内部反复调用的都是同一套核心计算引擎,无论它在潜空间里把同一个数据反复运算多少遍,它都可以在同一块显卡内存空间里直接复用,让推理阶段的硬件显存开销成功实现了“封顶”。

与MoE深度融合:用时间换深度

这种技术正在和混合专家架构(MoE)走向深度融合,成为行业探索新方向:Recurrent MoE。

传统MoE里每个专家单次传播只激活一次,本质是“用空间换广度”;接入循环深度后,同一个向量每轮迭代都能重新路由到不同专家,同一个专家可以被反复调用打磨细节,变成“用时间换深度”,把参数的潜力榨到极致。

它不再用长篇大论的思维链(CoT)来凑字数,而是将所有的算力倾注在了看不见的纯逻辑推演中。这是全行业“去文本化”的一个缩影。大模型的核心思考,正在从人类看得懂的“文字空间”,彻底搬进了看不见的高维“向量空间”。

对大模型来说,把高维语义压缩成一串线性的文字,再重新解码成向量去计算,本身就是个充满信息损耗的低效路径。循环深度让所有逻辑推演、路径排查、方案验证,全部以数学形式在连续潜空间里完成,这远比语言符号更准确高效。

尽管循环深度还没在商业大模型里大规模落地,但业内纷纷展开探索,从OpenAI Astra的核心技术,到Meta内部探索的“连续思维链”,再到大厂关注的“椰子项目(COCONUT)”,都是这一套思路的延伸。

模型之间还要靠文字聊天吗

既然模型内部思考不用Token,那模型间的协作还需要文字沟通吗?今早在X上爆火的俄罗斯初创模型公司Mostik,正好给出了答案,用一种新的AI通信范式,把人类语言从操作系统降级为显示驱动。

在传统的多模型协作中,模型与模型之间的沟通如下,模型A算出了答案,先翻译成人类语言,然后模型B再破解这些语言,读取Token。这种方式较为低效,成本也高。

Mostik直接取消了“文本中转”这一环,为模型间搭了一座“桥”,而这座桥可以理解为“机器心灵感应”。具体而言,他们训练了一个轻量的桥接矩阵,把大模型理解问题后的高维隐状态,直接投影进小模型的输入潜空间。整个过程不生成任何一个Token,两个原模型的权重也完全不用微调,信息在纯向量层面上畅通无阻。

这种思考来自一种数学的思维,其创始人Sasha Malysheva带领一众数学博士,联手2010年菲尔兹奖得主Stanislav Smirnov,发现不同模型的潜空间,存在天然共通的语义流形。

虽然对齐全量权重是艰难的事情,但为模型间搭一座小桥,却足以让语义互通。而且这种方式是一种高精度的完整还原,不改动任何一个原模型的权重。这让它体积极小、训练成本极低。

在实验中,他们尝试把GLM-5.2(753B)和Qwen-3.5(4B)搭了一个桥,昂贵的云端大模型在关键难题上动脑后,然后把产出结果传给端侧小模型执行。结果混合系统的推理成本仅为GLM-5.2的二十分之一,跑出了相当于顶级模型近80%的准确率。在极其严苛的ARC-AGI排行榜上,这个“拼凑”的轻量化方案一举斩获了第一名,得分远超预期。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
华为拿下玛莎拉蒂,余承东的鸿蒙六界要来了?

华为拿下玛莎拉蒂,余承东的鸿蒙六界要来了?

大厂财经社
2026-09-06 11:18:46
新疆慕士塔格峰2号冰川发生雪崩,文旅部门发布安全提示

新疆慕士塔格峰2号冰川发生雪崩,文旅部门发布安全提示

界面新闻
2026-09-06 13:37:55
一半以上菜库使用染色剂,真全面严查大量商户将会损失巨大

一半以上菜库使用染色剂,真全面严查大量商户将会损失巨大

映射生活的身影
2026-09-05 16:45:49
中老年人多久吃一次他达拉非最合适?牢记 “2 种方案 + 3 个关键”

中老年人多久吃一次他达拉非最合适?牢记 “2 种方案 + 3 个关键”

阿兵科普
2026-08-27 22:20:39
手机不是越贵越好,2026公认“最值得买”的4款手机,用到2031年

手机不是越贵越好,2026公认“最值得买”的4款手机,用到2031年

小柱解说游戏
2026-09-06 05:31:57
加拿大一咖啡店将“美式咖啡”改名“加式咖啡”,“为表达不满”

加拿大一咖啡店将“美式咖啡”改名“加式咖啡”,“为表达不满”

南方都市报
2026-09-06 11:41:02
美菲已用实际行动证明:一旦开战,中国航母根本没法通过巴士海峡

美菲已用实际行动证明:一旦开战,中国航母根本没法通过巴士海峡

掉了颗大白兔糖
2026-09-05 01:18:31
官媒正式宣告!巴丹群岛主权在中国,菲律宾国防部破防

官媒正式宣告!巴丹群岛主权在中国,菲律宾国防部破防

谛听骨语本尊
2026-09-06 13:02:24
比亚迪天神之眼,差距天差地别!90%车主都搞混

比亚迪天神之眼,差距天差地别!90%车主都搞混

侃故事的阿庆
2026-09-06 02:28:37
中国之所以重视印度共产党,并非因其亲华立场,而是因为一旦它成功,极有可能在印度再造出一个超级工业国

中国之所以重视印度共产党,并非因其亲华立场,而是因为一旦它成功,极有可能在印度再造出一个超级工业国

人生录
2026-09-06 00:05:19
逆风翻盘,中国女篮战胜捷克,掌握晋级八强主动权

逆风翻盘,中国女篮战胜捷克,掌握晋级八强主动权

澎湃新闻
2026-09-06 22:46:43
曾仕强:所有疾病的起因,都是因为紧张|只要全身不放松,疾病就会找上门

曾仕强:所有疾病的起因,都是因为紧张|只要全身不放松,疾病就会找上门

杏花烟雨江南的碧园
2026-07-24 16:15:03
内塔尼亚胡:抓到了

内塔尼亚胡:抓到了

陆弃
2026-09-02 11:04:37
重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

重回中国,马布里兴奋,正式上任,新岗位曝光,曾被推荐执教宏远

任心荒芜h
2026-09-06 10:46:33
2026年7月,有位退休返聘的CT老医生在和朋友私下聊天时,说出了句实在话:“要做检查,能去大医院就别只是图省事。”

2026年7月,有位退休返聘的CT老医生在和朋友私下聊天时,说出了句实在话:“要做检查,能去大医院就别只是图省事。”

回京历史梦
2026-09-06 20:40:03
新世界地图抛弃墨卡托投影,为何仍然以欧洲为中心,不以我国为中心?

新世界地图抛弃墨卡托投影,为何仍然以欧洲为中心,不以我国为中心?

世界纵横说
2026-09-06 11:11:51
民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

民进党,极有可能在下一届台湾地区选举后,成为长期一家独大政党

趣文说娱
2026-09-06 14:26:45
一觉醒来,宏远2.13米新大外曝光!朱芳雨筹备新球队,广东旧将再就业

一觉醒来,宏远2.13米新大外曝光!朱芳雨筹备新球队,广东旧将再就业

多特体育说
2026-09-06 11:08:30
奔驰新车官宣:9月16日,正式上市

奔驰新车官宣:9月16日,正式上市

科技堡垒
2026-09-05 10:34:17
卓伟爆终极内娱大瓜!两对夫妻全员出轨互换,邻居变爱人

卓伟爆终极内娱大瓜!两对夫妻全员出轨互换,邻居变爱人

情感大头说说
2026-08-25 04:57:59
2026-09-06 23:28:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
237文章数 80关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

本地
旅游
游戏
公开课
军事航空

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

旅游要闻

活力中国调研行|从一趟旅游列车的突围看“交旅融合”消费潜力

老IP传出新动静 科乐美续约 兽人变身格斗有望归来

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美伊互袭油轮 伊朗军方称或对美进行更大规模打击

无障碍浏览 进入关怀版