网易首页 > 网易号 > 正文 申请入驻

前沿Claude和GPT,居然被国产AI联手超越?Scaling Law新解法来了

0
分享至


新智元报道


如今的大模型,想要追求性能,往往要烧掉海量经费。Claude Opus或GPT等前沿模型,好用是真好用,贵也是真贵。

但如果现在告诉你:有一套方案,不仅能在九项包含科学推理、业务自动化、工具调用、Agent能力等基准测试中力压群雄拿下第一,而且每次调用的平均成本只要区区0.06元,甚至不到对手的2%,你会不会觉得不可思议?

就在近日,这件打破常理的事情真实发生了。

AI基础设施公司南芥智能(SinapisAI.com)发布了一份极具颠覆性的技术报告。

他们推出的Mio 1.0 Lite,就像一位「武林盟主」,把多款原本可能有些「偏科」的国产高性价比大模型集结在了一起。

单打独斗时它们或许并非全能,但调度协作后,竟爆发出了远超高价单体模型的惊人战斗力。

在一项覆盖九项公开基准的评测中,Mio 1.0 Lite平均得分77.15,在十三种参评模型中排名第一。它每次请求的平均成本约为0.062元,在参评方案中同样最低。

这份名为《Toward Collective Model Intelligence: Characterizing and Coordinating Models》的技术报告,相关代码和评测数据集已在GitHub公开(https://github.com/SinapisAI/collective-model-intelligence)。

这份报告在行业内首次系统地提出了一个极具潜力的新方向——「模型群体智能」(Collective Model Intelligence)。


本轮评测可谓一场「诸神之战」,比较了八款单体模型和四款路由产品。国际模型中,主流模型GPT-6.1 Sol和Claude Opus 5.5参加了比较。

国内各主要大模型厂商的最强模型也都在参评之列,包括Kimi K3、GLM 5.3、Qwen 3.8 Max、DeepSeek V4.1 Flash等量模型。

此外,OpenRouter Auto Router及其Beta版、Jev Router和vLLM Router等主流路由产品也参与了同台竞技。

评测结果:性价比降维打击

九项基准涵盖智能体自动化、函数调用、多轮对话、指令遵循、专家级科学问答和知识问答等任务类型。按九项平均成绩计算,参评单体模型中得分最高的是GPT-6.1 Sol,但Mio 1.0 Lite不仅比它高出6.35分,平均成本更是暴降了94.0%!

参评方案中成本最低的是Qwen 3.8 Flash,Mio 1.0 Lite的得分比它高14分,成本竟然还低了16.4%。相比之下,Claude Opus 5.5每次请求的平均成本为3.93元,约为Mio 1.0 Lite的六十余倍。

Mio 1.0 Lite在AutomationBench、PinchBench、BFCL V3、IFBench和GPQA Diamond五项基准上取得了参评方案中的最高分。在这五项上,它的成本比其他方案中得分最高者低73.7%至97.5%。

在部分项目上,这种领先优势呈现出「断层」级别。比如考察函数调用能力的BFCL V3,Mio 1.0 Lite得分77.50,排名第二的Claude Opus 5.5得分66.00,前者的单次请求成本约为后者的四十分之一。

在指令遵循测试IFBench上,Mio 1.0 Lite得分92.00,排名第二的方案得分82.80。




其余四项基准上,Mio 1.0 Lite也取得了很高分:QwenClawBench和AA-OmniScience两项与第一名的差距都不到1个百分点,但成本分别低95.1%和85.3%。MT-Bench满分为10分,Mio 1.0 Lite比第一名低0.223分,成本低89.7%。

差距最大的一项是不使用工具的「人类最后的考试」(Humanity's Last Exam),Mio 1.0 Lite比最高分低7.97个百分点,成本低97.5%。在九项基准的每一项上,都没有参评方案能在得分和成本两方面同时优于Mio 1.0 Lite。

有趣的是,参与协作的这些国产模型单独拎出来评测时,并没有在各项测试中名列前茅。

但一旦被「组织」起来协同工作,它们的综合表现直接反超了成本高出数十倍的前沿模型。这就是「模型群体智能」的直观体现。

什么是模型群体智能

报告的出发点来自对评测数据的观察。排行榜上的平均分往往会掩盖模型之间的差异。综合排名靠后的模型,常常能答对排名靠前的模型答错的题目。

一个复杂任务通常包含理解输入、推理和调用工具等环节,各环节表现最好的往往是不同的模型。很多常规步骤用成本较低的模型就能达到质量要求,节省下来的预算可以用在难度更高的环节上。

报告据此提出,模型群体智能就是理解、复用和协调不同开发者独立训练的模型所积累的能力,以提升任务完成质量和资源利用效率。在这一框架下评价一个模型,既要看它自身的水平,也要看它能为群体补充哪些能力,以及调用这些能力需要多少资源。

以编程智能体为例,一项修复任务通常要经过诊断缺陷、生成补丁、运行测试和修改完善等步骤。按照模型群体智能的思路,每个步骤都可以交给当前最合适的模型完成,前一步的结果和已经消耗的预算也会影响下一步选择哪个模型。


从单个模型到群体智能。不同开发者训练的模型各自积累了知识与技能。系统测量和预测这些模型的能力,识别它们之间的互补关系,再组织模型进行选择与协作,形成整合程度更高、效率更高的智能体系。

支撑群体协作的三个组件

多个模型要有效协作,需要做好三件事。首先要掌握每个模型的能力特点,其次要合理安排分工,最后要保证选定的模型能够高效运行。

报告精心设计了三个核心组件,让它们能够各司其职、完美配合。

Model Eval负责模型能力评估。

逐一测试每个模型在每道题目上的表现,成本过高。Model Eval先根据少量题目估计模型在某一领域的得分,再利用模型与领域之间的关联,推断该模型在其他领域的表现。在一项涉及25个模型、18个基准和2.5万余道题目的实验中,每个目标模型只测试了5至40道题。在各个测试题量下,Model Eval的估计误差都低于对比方法。

Mio(Models in One)负责模型的组织与调度。

它维护一个规模精简、能力互补的候选模型池,并根据任务进展和剩余的成本、时间预算,为每一步选择合适的模型。为检验模型选择的稳健性,团队构建了RobustRouteBench数据集。数据集共包含35,278条实例,覆盖通用文本、多模态和中文三类场景,候选模型分别为63个、45个和10个。剔除开发阶段使用过的数据来源后,最终参与评分的测试请求有18,982条,其中包含大量经过改写、翻译和噪声干扰处理的请求。在这项测试中,Mio的模型选择器在13种方法中综合排名第一,在中文场景下还没有做到全面领先。

Mos(Model Serving OS)负责模型的运行与调度。

它统一管理外部模型接口和自主部署的模型,并通过共享缓存提高模型文件的分发效率。实验中,10个实例同时加载一个18.84 GB的模型。直接从对象存储读取需要一个多小时,改用预热的共享缓存后约三分钟即可完成,模型文件读取速度最高提升23.3倍。


模型群体智能框架的整体架构。Model Eval负责能力评估,Mio负责模型组织与协作,Model Space统一登记和管理模型资源,Mos负责调度外部模型接口和自主部署的模型,底层由公有云或私有云基础设施提供支撑。

源自十年前的「学件」思想

模型群体智能的理论基础可以追溯到「学件」(Learnware)范式。十年前,南京大学周志华教授提出了学件的概念。他主张为每个训练好的模型配备一份「规约」,说明模型的能力和适用范围。

这样,使用者面对新任务时,可以从已有模型中找到合适的模型直接复用,不必从头训练。

在技术报告中,南芥智能将这一思想应用到大模型上,为每个模型建立「能力画像」,记录它在各领域、各类题目上的实测表现和预测表现。能力画像的作用相当于学件中的规约。在精简候选模型池时,系统借鉴了学件研究中基于能力覆盖度的筛选方法。

只有当保留下来的某个模型能够接替被移除模型的工作,并且性能损失在允许范围内时,系统才会移除该模型。有些模型平均分并不突出,在特定问题上却具有独特优势,这类模型因此能够保留在群体中。

将来会有越来越多的模型

数据、模型、领域知识和算力分散在不同机构中,受隐私保护、数据所有权和通信条件等因素限制,往往难以集中。同一个基础模型经过不同团队的适配,也会形成各自的优势。近两年的行业发展已经明显体现出这一趋势。

开源模型持续发布,各行业的专用模型陆续出现,同一家厂商也会针对不同场景推出旗舰版、轻量版等多个版本。仅开源中国旗下的模力方舟平台,就已汇聚了超过2万个开源大模型与数据集。可以预见,模型的数量会继续增长,模型之间的差异也会越来越大。

在笔者看来,模型数量的增长会逐渐改变人们看待模型的方式。过去人们最关心哪个模型最强。可用模型越来越多以后,哪些模型组合起来效果最好、成本最合理,会成为同样重要的问题。到那时,评价一个模型,还要看它能为整个群体带来什么。

这一变化对模型开发者意义重大。专注某个行业的团队,或者资源有限的小型团队,很难在综合排行榜上与头部厂商正面竞争。

只要他们的模型在某类问题上具备突出能力,就有机会在群体中发挥作用并获得回报。这有利于形成多元共存、分工协作的模型生态,让更多团队的研发成果得到使用。

规模定律的新维度

过去几年,大模型能力的提升主要遵循规模定律(scaling law)。模型参数、训练数据和计算量按一定比例增加,模型性能就会以可预测的方式提高。这条规律推动了大模型的快速进步。沿着这条路继续前进,所需的算力和资金投入越来越大,高质量训练数据也越来越稀缺。

模型群体智能,可以看作规模定律的一个新维度。除了单个模型的参数、数据和算力,参与协作的模型数量、模型之间的能力差异以及协作的组织水平,同样可能影响整体能力的上限。Mio 1.0 Lite的结果提供了一个初步例证。参与协作的都是国产高性价比模型,单个模型的成本都明显低于参评的国际前沿模型,组织起来之后,综合表现排在参评方案首位。

这个新维度与原有的几个维度可以相互促进。更强的单体模型出现后,群体能力的下限随之提高。擅长特定领域的模型加入后,群体能力的覆盖范围随之扩大。单体模型的规模化进步与群体协作的进步可以同时发生,效果也可以叠加。

需要说明的是,群体维度上的规模规律目前还是一个方向性判断。群体规模和多样性增长到什么程度会带来多大收益,协作本身的开销会如何增长,都需要更系统的实验来刻画。这也正是这一方向值得长期投入的原因。

成本暴降,让「不可能」的商业落地成为「可能」

成本对大模型应用能否普及有很大影响。智能体完成一项任务,往往需要连续调用模型几十次甚至上百次。如果每次调用花费数元,一项任务的总成本就可能超出很多企业的承受能力。如果每次调用只需几分钱,许多原本在经济上不划算的应用就有了落地的可能。

模型群体智能降低成本的办法,是把简单环节交给成本较低的模型,把预算留给真正困难的环节,对任务质量的要求并没有降低。任务步骤越多,这种按需分配的优势越明显。对于预算有限的中小企业,以及教育、政务、制造等调用量大的行业来说,这条路径有很强的现实意义。

与开源中国模力方舟合作,评测走进选型现场

近日,南芥智能与开源中国旗下AI基础设施平台模力方舟已经开展了模型及数据集评测合作。首批评测覆盖40个模型和50个数据集,已在模力方舟部分资源的详情页上线。

模力方舟上可选的模型与数据集数以万计,开发者动手之前需要先看清模型的长处与短板,仅凭单一总分很难说清模型在不同任务上的差异。这次合作上线的评测内容,让开发者可以在统一口径下查看模型的多维能力表现、同题比较结果以及数据集的样本难度,先缩小候选范围,再结合自己的任务实际验证。

这些画像和难度分布并没有依靠让每个模型反复运行海量数据来获得,那样做的计算和时间成本都很高。南芥智能的做法是用数据评估模型,同时用模型评估数据。一道题如果所有模型都答错,可以暴露共同短板,却难以帮助开发者在模型之间作出选择。

有的模型能答对、有的模型容易出错的题目,才能提供区分能力的线索。团队一方面据此识别模型的优势与局限,另一方面根据多个模型的作答表现,分析每个样本的难度和区分作用。

这套方法有相应的研究支撑。团队参与的一篇论文被CIKM 2026录用,论文根据历史答题记录为每道题建立画像,新模型只需完成有限的题目,就能估算出完整的评测成绩。

另一篇被EMNLP 2026录用的论文,把同一道题换成不同问法多问几次,用能力分布代替单次对错,使模型路由的判断更加稳定。样本分析的结果又会反馈到选题中,用区分度更高的数据刻画模型,再用新的模型表现改进选题,从而形成模型与数据相互促进的评测循环。


新模型逐题作答,系统据此挑选下一道题,最后结合已答结果和预测结果估算完整成绩。

支撑这一过程的是南芥智能自研的评测体系。该体系已覆盖百余个国内外模型,积累了数百个公开评测集上的数万条评测结果,并依托自动化流水线持续运行、动态更新。按照合作安排,双方将继续丰富评测内容、扩大覆盖范围,使模型能力可度量、可比较、可追溯。

模型生态越繁荣,越需要一个了解各个模型、能够把它们组织起来的环节。从能力评测到群体协作,南芥智能正在这个位置上搭建基础设施。

仍需回答的问题

报告对研究范围作了明确说明。目前的实验结果属于组件层面的验证,候选模型池组织的消融实验、多步协作、线上实时调度和系统整体收益等,都还需要进一步评估。

笔者认为,这一方向要走得更远,还需要解决几个关键问题。模型更新速度很快,能力评估需要及时跟上,否则能力画像会逐渐失准。协作环节会增加一定的时间开销,需要控制在用户可以接受的范围内。在多步任务中,模型之间如何交接上下文并保证结果连贯,也需要更成熟的机制。不同来源的模型共同完成任务时,数据安全和责任划分同样需要明确的规则。

团队后续将从两个方向推进工作。一是将系统扩展到规模更大的模型群体,接入更多面向特定领域和任务的行业模型。二是探索经验驱动的群体演化机制,使系统能够借助群体能力发现自身不足、改进运行机制并验证改进效果,在持续迭代中不断提升。

从命名可以看出,Mio 1.0 Lite是一个轻量版本。它的候选模型均为国产高性价比模型,主打以较低成本获得较高性能。从规模定律新维度的角度看,候选池中的模型更强、更多样,评估和调度机制更完善,群体的整体能力还有进一步提升的空间。Lite版本已经在参评方案中取得了平均分第一的成绩,今后的Pro等更高阶版本值得期待。

未来,或许不再是「谁的模型跑分最高,谁就通吃天下」,而是「谁能把各种模型组合得最精妙,谁就能笑到最后」。

当新模型发布时,人们不再只盯着它的排行榜名次,而是会问问:它能为我们的AI「复仇者联盟」,带来什么样的新超能力?

编辑:Aeneas

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
15%支持率还赖着不走?67%法国人喊辞职,马克龙凭什么撑到2027?

15%支持率还赖着不走?67%法国人喊辞职,马克龙凭什么撑到2027?

潋滟晴方DAY
2026-10-18 18:38:47
拼命考上港八大,却读不下去:4000名内地生退学,撕开留学圈真相

拼命考上港八大,却读不下去:4000名内地生退学,撕开留学圈真相

梦史
2026-10-18 00:10:08
第二十五届中国上海国际艺术节在上海大歌剧院举行开幕活动,陈吉宁孙业礼朱忠明出席

第二十五届中国上海国际艺术节在上海大歌剧院举行开幕活动,陈吉宁孙业礼朱忠明出席

上观新闻
2026-10-17 21:41:43
一个远比贪腐更危险的现象,人人闭嘴不谈,正在危害中华民族

一个远比贪腐更危险的现象,人人闭嘴不谈,正在危害中华民族

梦在深巷aqa
2026-10-17 05:48:42
长鑫科技的股东们心情有点复杂了

长鑫科技的股东们心情有点复杂了

财报时间
2026-10-18 08:34:04
敬一丹的硬笔字迹真飒!好亲切!写柳公权玄秘塔,是悬腕写还是伏案写?如何鉴定这幅书法的真伪?

敬一丹的硬笔字迹真飒!好亲切!写柳公权玄秘塔,是悬腕写还是伏案写?如何鉴定这幅书法的真伪?

书画相约
2026-10-18 10:15:24
胡歌被拍到开车出门,脸绷着,日子过得像普通人

胡歌被拍到开车出门,脸绷着,日子过得像普通人

东方不败然多多
2026-10-17 14:33:16
黄奇帆和唐宁有什么关系?

黄奇帆和唐宁有什么关系?

西虹市闲话
2026-10-15 13:28:15
火箭队连裁3人!防守型前锋加盟3天,再次离队!阵容仅剩18人

火箭队连裁3人!防守型前锋加盟3天,再次离队!阵容仅剩18人

熊哥爱篮球
2026-10-18 17:48:02
袁腾飞不知好歹,崇外贬内这条路走到黑,栽跟头是迟早的事

袁腾飞不知好歹,崇外贬内这条路走到黑,栽跟头是迟早的事

领略非凡
2026-10-17 19:18:48
美国中期选举民调:民主党经济议题领先共和党,但整体好感度仍偏低

美国中期选举民调:民主党经济议题领先共和党,但整体好感度仍偏低

财联社
2026-10-16 22:10:10
蒋介石后代5人访大陆,大陆表示欢迎但有2个条件

蒋介石后代5人访大陆,大陆表示欢迎但有2个条件

史虇的生活科普
2026-07-06 23:07:51
“大陆警察,有本事来抓我啊!”台独分子,沈伯洋狂妄叫嚣

“大陆警察,有本事来抓我啊!”台独分子,沈伯洋狂妄叫嚣

果妈聊娱乐
2026-10-16 14:39:08
台北选情惊天逆转?蒋万安遭全党围剿,赖清德民调却先崩了

台北选情惊天逆转?蒋万安遭全党围剿,赖清德民调却先崩了

呼呼历史论
2026-10-17 05:57:36
西方媒体:就算中国全力以赴,也不可能按时建成这么庞大的工程

西方媒体:就算中国全力以赴,也不可能按时建成这么庞大的工程

游文刀
2026-10-16 23:36:56
92年我在矿工队干爆破,动工前晚做梦,两白蛇:缓我3天,必有重谢

92年我在矿工队干爆破,动工前晚做梦,两白蛇:缓我3天,必有重谢

古怪奇谈录
2025-09-09 14:17:47
就在今天!4个创造了NBA奇迹的球员被裁了

就在今天!4个创造了NBA奇迹的球员被裁了

篮球大视野
2026-10-18 18:32:26
不能再拖了!再不着手解决台海问题,全世界真的会看我们的笑话了

不能再拖了!再不着手解决台海问题,全世界真的会看我们的笑话了

瓦伦西亚月亮
2026-10-17 19:44:57
国产光刻机杀入欧洲!江苏海思第17台设备通过验收:马上发运

国产光刻机杀入欧洲!江苏海思第17台设备通过验收:马上发运

快科技
2026-10-16 10:48:09
乌克兰恢复炸俄炼油厂,民主党中期选举初告捷

乌克兰恢复炸俄炼油厂,民主党中期选举初告捷

名人苟或
2026-10-17 15:47:51
2026-10-18 19:40:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16458文章数 67164关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

俄圣彼得堡石油码头遭乌袭击起火 年吞吐量超1250万吨

头条要闻

俄圣彼得堡石油码头遭乌袭击起火 年吞吐量超1250万吨

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

教育
本地
数码
旅游
军事航空

教育要闻

小升初当中,最难的恐怕就只有数学了

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

数码要闻

京东京造推出G70Pro双摄掌静脉智能门锁:支持AI语音对话,1882元(国补后1599元)

旅游要闻

省运邂逅西游!连云港盐河巷巡游点燃港城夜间烟火

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版