网易首页 > 网易号 > 正文 申请入驻

1位菲尔兹奖得主+12位博士,这些俄罗斯数学家训出了顶级AI

0
分享至

最近,在 ARC Prize 2026 的 Kaggle ARC-AGI-3 竞赛排行榜上,杀出了一匹黑马 —— 一个名叫「Mostik」的俄罗斯初创。



ARC-AGI-3 被认为是目前最接近「测试 AI 真正智能」的一类挑战。它不像传统 benchmark 那样给模型一道道题,而是把 AI Agent 丢进一个完全陌生的二维交互世界:没有说明书,没有规则提示,Agent 只能靠不断尝试,摸索环境规律,建立自己的世界模型,最终找到通关方法。



「Mostik」这支团队此前几乎没什么名气,如今做出来的模型却一度冲到了Kaggle ARC-AGI-3 排行榜第一(当前第二)。更离谱的是,他们只用了四个月,团队里有 12 位博士和一位菲尔兹奖得主。



Mostik 究竟怎么做到的?他们暂时不肯透露参赛系统的细节,理由很简单:比赛还在进行,他们想赢。

团队公开了另一项更有意思的实验。他们让两个 AI 模型跳过文字,直接交换内部的数学信息,像是给机器装上了一套「心电感应」。



实验的一端是 GLM-5.2,参数量达到 7530 亿;另一端是只有 40 亿参数的 Qwen-3.5,可以在移动设备上运行。Mostik 在两个模型之间搭了一座「桥」,让大模型读取问题、完成思考,再把内部状态交给小模型,由小模型生成最终答案。

整个过程中,大模型不用把推理过程写成文字,小模型也不用重新阅读和理解一大段提示。两个来自不同公司的模型,就这样在更底层的数学空间里接上了。

结果相当醒目。这套混合系统的运行成本只有完整 GLM 模型的二十分之一,表现刚好落在两个模型之间,相当于小模型补上了与大模型之间一半的能力差距。

Mostik 的名字也来自这里。在俄语中,它的意思是「小桥」。

为什么这套系统有效?Mostik 在最近的官方博客中给出了一些解释。

AI 以前的合作方式,损失太大了

让多个 AI 一起工作早就不算新鲜。现在常见的多智能体系统,通常由一个模型先输出答案,另一个模型读完后继续处理,像几位同事通过邮件传递工作。

问题出在这封「邮件」上。模型内部可能已经进行了大量计算,真正输出时,只能把其中一小部分压缩成文字,许多信息也随之丢失。

Mostik 在官方博客里算了一笔很有意思的账。

一个语言模型为了生成一个 token—— 可以粗略理解成一个词或词片段 —— 内部会形成一百多个隐藏向量,涉及大约一百万个数值。这些数值记录着模型此刻对问题的理解、正在考虑的概念,以及它准备如何组织后面的内容,总量接近 2MB。

真正输出时,模型只能从大约 15 万个候选词中选出一个。换算下来,离开模型的有效信息只有 17 比特,之前形成的 2MB 内部状态随即被丢掉。

Mostik 给了一个很形象的说法:一个在上千维空间里思考的系统,最后只能通过钥匙孔和另一个系统说话。官方博客认为,今天的编程智能体、模型委员会和各种多智能体系统,基本都卡在这个「钥匙孔」上。



到底损失了什么?

人们过去常把隐藏状态理解为一种临时脚手架:模型内部算完了,最后吐出来的词才是成品。近两年的可解释性研究显示,这个理解有些低估了模型内部发生的事情。

Mostik 在博客里提到一个关于英语冠词的实验。模型要在「a」和「an」之间做选择,必须提前知道后面准备写什么名词;研究人员发现,Qwen-3 在真正输出「accountant」之前的几个位置,内部已经出现了对这个词的表征。

模型体量越大,这种提前形成但没有写出来的信息越丰富。换句话说,大模型在落笔之前,已经悄悄准备了一部分后文。

Anthropic 的研究人员也观察到类似现象。Claude 3.5 Haiku 写诗时,会先在内部确定一句话末尾的押韵词,再朝着那个词把前面的句子写出来。

另一项研究还发现,模型内部会短暂保留一小组尚未说出口的概念。研究人员可以要求模型「记住」其中一个概念,即使它接下来生成的文字完全没有提到,这个概念仍可能继续存在于内部状态里。

这些发现指向同一件事:模型写出来的内容,只覆盖了它内部计算的一小部分。当一个 AI 把文字交给另一个 AI 时,真正损失的是形成答案的过程。

Mostik 搭了一座「桥」

Mostik 的方法并没有复杂到无法描述。一个模型完成初步计算后,把自己的隐藏状态交给一座经过训练的「桥」;这座桥进行转换,再把结果送进另一个模型。



难点在于,两个模型的内部世界并不通用。它们由不同团队开发,训练数据、参数规模和架构都有差异,同一个概念在各自的数学空间里可能长得完全不同。



Mostik 首席科学家 Stanislav Smirnov 是日内瓦大学教授,也是 2010 年菲尔兹奖得主。他坦言,人们至今没有找到一套合适的数学语言,能够统一描述不同模型的内部表达。在此过渡阶段,Mostik 的切实填补了这一 gap。

Mostik 团队最先研究的,正是这些内部空间的几何结构。他们发现,模型能力变强,并不会自动让彼此的内部表达更接近;不过,不同模型之间确实存在一部分可以预测的共同结构,只要找到对应关系,就有机会完成翻译。

这座桥是系统中唯一需要训练的部分。两边的模型都保持冻结,原有权重不用修改,也不需要为了配合对方再做一轮微调。

这个设计很关键。它意味着 Mostik 无需拆开两座已经建好的房子,只需要在中间铺一条通道;以后更换其中一个模型,理论上也只需重新解决这段映射关系。

「桥」的效果如何?

Mostik 公开的实验连接了两个中国开源权重模型。一边是拥有 7530 亿参数的 GLM-5.2,另一边是只有 40 亿参数、可以在移动设备上运行的 Qwen-3.5。

两个模型的分工很特别。GLM 负责读取问题,在内部完成一轮计算,然后直接停下来;它不生成答案,隐藏状态通过桥传给 Qwen,逐字写出答案的工作全部由小模型完成。

这样安排,是因为模型「读」和「写」的成本并不对称。读取一段提示词可以进行大量并行计算,生成答案却要一个 token 接一个 token 往外吐,后者往往更慢,也更烧钱。

大模型在这套系统里像一位收费昂贵的专家。它看完材料后,把判断直接交给助手,不再花时间写一份完整报告;真正耗时的文字工作,由运行成本更低的小模型处理。

根据 Mostik 公布的数据,接上桥之后,Qwen 补上了自己与 GLM 之间 50% 的性能差距,整体准确率提升约 25%。在两者能力差距更明显的高难度任务中,小模型的成绩最高达到原来的两倍。



还可以换一个角度理解这组数据。假设存在一个中型模型,成绩正好和这套混合系统相当,运行 Mostik 组合所需的计算量只有它的约四成,也就是节省了 60%。

这组数字和「成本只有完整 GLM 的二十分之一」并不冲突。二十分之一比较的是让 7530 亿参数的 GLM 独立完成整个任务;2.5 倍的算力优势,比较的是一个成绩相当的中型模型。



目前这些实验结果主要来自 Mostik 自己的技术披露。详细训练方法、测试集构成和复现实验尚未完整公开,ARC-AGI 3 参赛系统的细节也处于保密状态,因此它的通用性还需要更多外部验证。

交接越早,这座桥越有优势

Mostik 还把这种「隐藏状态交接」和传统的文字交接放在一起测试。两种方法都让大模型先处理一部分问题,然后把工作转给小模型,区别在于传过去的是已经写出的文字,还是大模型当时的内部状态。



在 Mostik 测试的各个计算档位上,隐藏状态交接都取得了更好的性能,最高领先 10 个百分点。大模型越早把任务交出去,这种优势越明显。

原因并不玄妙。任务刚开始时,大模型虽然还没有写下任何内容,内部已经形成了对问题的初步理解;采用文字交接,此时几乎没有东西可以传,隐藏状态却已经装着不少信息。

随着大模型继续计算并写出更多文字,两种方法的差距会逐渐缩小。那些原先藏在模型内部的判断,开始通过文字显露出来,但隐藏状态方案在整个过程中仍保持着更好的性能与算力比。

这座桥还能用来观察 AI

Mostik 认为,这项技术还有一层更远的价值:它可能给人类提供一个观察模型内部的新入口。

现在常见的方法,是检查模型写下来的思维链。但模型说出口的推理未必完整,有些内部判断不会出现在文字里,一些异常行为也可能绕过思维链监控。

隐藏状态的传递过程提供了三个可以对照的对象:发送模型原本的状态、经过桥翻译后的状态,以及接收模型最终表现出的行为。研究人员可以记录这三者,查看哪些信息在翻译中被保留,又有哪些内容真正影响了后面的答案。

更重要的是,人们可以动手干预这条通道。假如修改某个特征后,接收模型的行为也稳定地发生变化,研究人员就有理由判断,这个特征确实参与了模型决策。

这比单纯把隐藏状态翻译成人类语言更可靠一些。翻译器可能编出一段看似合理的解释,干预实验关注的则是因果关系:动了哪里,模型才变成这样。

Mostik 自己也很谨慎。他们尚未证明这座桥已经是一种成熟的可解释性工具,只是认为,有了两个模型内部空间之间的映射,人们第一次多出了一块可以测量和干预的区域。

下一步,是让模型从训练时就学会合作

眼下的实验,是在两个已经训练好的模型之间搭桥。Mostik 接下来想把这条通道提前到训练阶段,让模型从一开始就习惯和另一个模型配合。

第一个方向是知识蒸馏。传统蒸馏中,学生模型通常只能看到教师模型准备输出什么;如果把隐藏状态通道放进生成过程,教师模型就能在学生写答案时持续提供内部信息,像有人在一旁实时指导,而非等交卷后再打分。

Mostik 称,早期信号显示,在相同训练预算下,这样培养出来的学生模型能更贴近教师模型。目前实验仍在进行,还没有足够证据判断效果能否稳定扩展。

第二个方向是专业化。小模型在保持原有通用能力的同时,可能通过这条通道更快学会某项窄领域技能。

这意味着,为大模型增加新能力时,未必每次都要重训整个系统。以后可以外挂一个针对生物、物理、法律或代码训练的小模块,让它通过隐藏状态与通用模型协同工作。

而且,一座桥并不只能连接两个模型。同样的机制可以扩展到更多模型,让它们在训练过程中交换各自掌握的信息,逐渐形成一套彼此交织的系统。

下一个强大的 AI,可能是一群模型

过去几年,AI 主要沿着两条路线扩张。预训练阶段增加数据和参数,让模型记住更多世界知识;推理阶段投入更多计算,让模型学会规划和解决复杂问题。

Mostik 押注的第三条路线,是模型之间的协作。单个模型不必包揽所有能力,只要它们能高效交换信息,一群体量适中的模型也可能拼出接近前沿模型的效果。

这对开源生态尤其有吸引力。开源世界里分散着大量能力不同的小模型,如果它们可以和强模型共享隐藏状态,竞争力就不再只取决于某个模型有多少参数。

Mostik CEO Sasha Malysheva 曾用「猜一头猪有多重」来解释自己的想法。一群普通人的估计汇总起来,有时比一位专家更接近答案。她相信,AI 的能力也可能来自许多模型的共同判断。



Mostik CEO Sasha Malysheva。她是强化学习博士,之前曾在 DeepMind、Google X 工作。

当然,这座桥离大规模应用还有不少问题。不同架构能否稳定连接、桥的训练成本有多高、隐藏状态如何跨公司安全传输、闭源模型是否愿意开放相关接口,都没有现成答案。

但 Mostik 已经提出了一个很难忽略的问题:如果大模型内部真正有价值的东西远多于它写出来的文字,我们为什么还要让 AI 只靠文字互相交流?

也许下一个更强的 AI 不会长成一个无比庞大的超级大脑。它更像一群各有所长的模型坐在一起,表面上一句话都没说,事情已经商量完了。

参考链接:https://mostik.ai/read-more

https://www.wired.com/story/russian-startup-mostik-ai-models-communication/?_sp=586af67b-edb2-4262-b013-984a090473cb.1788399114585

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
鲍尔默硬刚萧华:3000万我认,但一年禁赛和5个首轮签,这口气我咽不下去!

鲍尔默硬刚萧华:3000万我认,但一年禁赛和5个首轮签,这口气我咽不下去!

竹影清风d
2026-09-05 20:53:36
“底裤都露出来了,谁敢录你?”女生一袭红色超短裙面试教资,结局不出所料

“底裤都露出来了,谁敢录你?”女生一袭红色超短裙面试教资,结局不出所料

妍妍教育日记
2026-08-19 16:54:44
离谱!皇马头号水货现形!昔日巨星彻底跌下神坛!

离谱!皇马头号水货现形!昔日巨星彻底跌下神坛!

澜归序
2026-09-07 08:07:44
1941年,革命夫妻狱中生子,为了保命忍痛将孩子托付给特务,结局出人意料

1941年,革命夫妻狱中生子,为了保命忍痛将孩子托付给特务,结局出人意料

磊子讲史
2026-07-10 17:00:05
讣告--赵亚洲

讣告--赵亚洲

中国青年摄影
2026-09-06 22:50:50
央视曝光环境监测报告“注水”后:成都市成华区连夜检查,山西省及大同市下县调查

央视曝光环境监测报告“注水”后:成都市成华区连夜检查,山西省及大同市下县调查

上观新闻
2026-09-07 14:23:32
他是黄东萍的背后功臣,娶美女警花生一女,为羽毛球混双付出太多

他是黄东萍的背后功臣,娶美女警花生一女,为羽毛球混双付出太多

林雁飞
2026-09-07 14:34:52
不拖船成为上策,中国亮出重磅举措,马科斯或将步立陶宛后尘

不拖船成为上策,中国亮出重磅举措,马科斯或将步立陶宛后尘

老鹈爱说事
2026-09-07 12:55:17
英国女王伊丽莎白二世的前任御厨似乎证实了哈里王子返回英国的“真正原因”

英国女王伊丽莎白二世的前任御厨似乎证实了哈里王子返回英国的“真正原因”

小椰的奶奶
2026-09-07 09:28:53
A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

财经市界
2026-08-07 08:40:42
财政部将发行特别国债支持8家中央金融企业补充资本

财政部将发行特别国债支持8家中央金融企业补充资本

界面新闻
2026-09-06 19:20:31
张柏芝宋佳时装周同框,一个紧致一个脸馒化,才懂原生脸有多惊艳

张柏芝宋佳时装周同框,一个紧致一个脸馒化,才懂原生脸有多惊艳

娱圈办事处
2026-09-07 14:33:57
全体医护连演都不演了,进入了纯过日子时代!

全体医护连演都不演了,进入了纯过日子时代!

宝哥精彩赛事
2026-09-07 07:12:46
杭州在眼科领域非常“牛掰”的十位医生,排名可不分先后

杭州在眼科领域非常“牛掰”的十位医生,排名可不分先后

牛锅巴小钒
2026-09-07 00:27:02
同是曼城中场!罗德里在巴萨封神,B席的抉择满是唏嘘

同是曼城中场!罗德里在巴萨封神,B席的抉择满是唏嘘

圣西罗的太阳
2026-09-07 12:06:42
“我都不敢跟这种小孩说话”,21w学费男孩火了,眼神暗示了人生高度

“我都不敢跟这种小孩说话”,21w学费男孩火了,眼神暗示了人生高度

熙熙说教
2026-09-04 13:36:10
一针没打的280万人,2026年身体真相曝光

一针没打的280万人,2026年身体真相曝光

华庭讲美食
2026-08-26 01:21:08
炮塔无人化让乘员全进车体,中国100式坦克彻底颠覆百年坦克设计

炮塔无人化让乘员全进车体,中国100式坦克彻底颠覆百年坦克设计

止戈军是我
2026-09-06 16:35:15
张馨予何捷广州看车被偶遇,张馨予背4万块的包,陪丈夫看12万SUV

张馨予何捷广州看车被偶遇,张馨予背4万块的包,陪丈夫看12万SUV

露珠聊影视
2026-09-05 11:36:33
41岁Coco被曝:回河南老家相亲了好几次,全黄了!大家听到她和那个人的感情经历后,都说了一句相同的话...

41岁Coco被曝:回河南老家相亲了好几次,全黄了!大家听到她和那个人的感情经历后,都说了一句相同的话...

美芽
2026-08-06 12:35:35
2026-09-07 15:43:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13937文章数 142729关注度
往期回顾 全部

科技要闻

麒麟9050 Pro,华为时隔6年再发高性能芯片

头条要闻

莆田"八卦村"古建大量坍塌 村书记:怕几百年文脉断掉

头条要闻

莆田"八卦村"古建大量坍塌 村书记:怕几百年文脉断掉

体育要闻

3.9秒绝平!杨舒予18+5成女篮救世主

娱乐要闻

张柏芝带儿子冲浪,一起看风景

财经要闻

8家中央金融企业获增资 释放什么信号?

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

家居
时尚
艺术
游戏
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

专场|| 365天都想戴,这期性价比好高

艺术要闻

色彩很美,简约风景油画!

《纪元117:罗马和平》制作组科隆专访:航向尼罗河

同样是脑梗,为何康复结局大不同?

无障碍浏览 进入关怀版