网易首页 > 网易号 > 正文 申请入驻

姚顺雨现身Reddit答问两小时:混元后训练最难的问题,是过度思考

0
分享至


开源大模型的竞争,正在从榜单成绩转向开发者社区的真实口碑。

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队首次在开发者社区公开答问,共收到三百多条留言,话题从架构取舍一路覆盖到安全评测。

此前不到一个月,混元接连发布两款模型。11月4日的Hy4首次跻身全球最强开源模型之列,在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。一周多之后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。

九个月,两次发布

从时间节奏看:

  • 今年2月,混元重建预训练与强化学习基础设施,确立三项原则:能力体系化,不做偏科的模型。评测真实性,以真实任务而非榜单分数检验模型。性价比追求,让智能用得起、用得好。
  • 此后平均每两个月迭代一个大版本,以“preview先行、正式版跟进”的方式,把真实使用中的反馈持续引入研发。
  • 11月4日,Hy4发布,跻身全球最强开源模型之列。
  • 一周多后,Hy4 flash发布,单任务成本降至Hy4的二十分之一。

距离2月份的重建,只过去了九个月。

Hy4与Hy4 flash的分工,对应着两条路线。前者扩大模型尺寸与数据规模,探索智能上限,后者压缩成本,让日常任务用得起。

团队在答问中确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者问及字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元仍在700B级,团队对此的回复是,Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,过程当中学到的东西也更多。

产品线的另一端,Hy4 mini已经在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型在考虑之中,视频模型也有了新消息。对于端侧视觉理解,团队的判断是激活参数约30亿的A3B模型,已能承担理解截图与图表并展开推理的任务。

路线图上还有循环式MoE与持续学习的位置,前者得到的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在迭代,Hyra 3.0已在开发中。

取舍先于参数

被问到为何最终选择MLA而非GQA,团队披露了一段反复权衡的历史。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会落在算力上。但相同的KV cache大小下,MLA的模型质量优于GQA。引入DSA之后,解码阶段的计算强度被降下来,权衡的天平随之倾斜。

Hy4 flash的另几项设计,延续的是同一套取舍。SWA将KV cache降至原来的四分之一,服务成本显著下降。配合把64B Engram参数卸载到主机内存的设计,128GB以上配置即可流畅运行激活参数12B的模型。

有开发者列出一组稀疏度对比,Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%。Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。更高的激活密度对智能有多重要,团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会显著受损,因为激活参数量本质上决定了计算预算。

过于稀疏的MoE架构,在团队看来对推理并不友好,占用大量显存却无法充分利用算力。相同吞吐量下,完全可以运行总参数相同、激活参数更多的模型。至于端侧,则是另一套思路,架构要与边缘设备的GPU硬件更紧密地协同设计。

量化方案的回答里,down投影因激活值存在离群点,对量化更敏感,会被分配更多比特,位宽依据Hessian敏感度选择。量化后路由器会随QAT一同训练以保持稳定,团队也更倾向全参数QAT,理由是模型质量更好。这组回答,是整场答问里工程细节最密的部分。

最难的是过度思考

被问及后训练阶段最难改善的行为,回复只有四个字,过度思考。Hy4追求智能上限,思维链过长是已知问题。解法带着产品闭环的色彩,把Hy4的长思维链蒸馏为高性价比的Hy4 flash,再通过强化学习为后者确保较短的思维链。

有开发者以写作为由发问,称一个模型如果把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

对Hy4能否自主运行并发展出下一代模型,回应表示递归自我改进能力尚早,但已开发若干内部基准评估关键能力。被要求按Levels of AGI分级给Hy4定位时,团队成员给出的自评是2.5级。

技术问题之间,穿插着研发过程的回忆。从Hy3扩展到Hy4被形容为最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性,“训练刚开始时,我相当紧张”。最终结果在团队的回忆里则是,“感觉就像把筹码全押上,结果真的赢了”。

把限制说清楚,也是一种开源

为负责任地开源,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护,并开展红队评估。有开发者质疑这会削弱防御方,限制逆向工程也伤及恶意软件分析与取证。团队给出的评估结论是,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。过度拒绝则被承认仍是重要的改进方向。

llama.cpp的适配正在推进,不久后会向社区发布。与vllm、sgl的合作也在深入。Hy4与Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用,答复具体到项目和工具名。答问中途还有开发者插播实测,Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型,完成速度快于Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash。

至于为何不公布GPQA Diamond、SWE Bench等常见基准成绩,团队的解释是这些基准推出较早,分数已经饱和,他们展示的是Agents’ Last Exam、ProgramBench等更新的高难度基准。评测真实性原则,从内部信条变成了对外表态。

三百多条留言里,开发者关心的不只是跑分,真实任务表现、使用成本与生态适配被反复追问。开源模型的竞争维度,比榜单呈现的更宽。混元团队在两小时里呈现的优先次序是,先打牢基础,让模型在真实任务中更好用,再持续探索能力边界。

那些被亲口承认的未解问题,过度思考、创意写作、递归自我改进,构成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施。九个月后,两款模型与一场两小时的答问,构成了重建后的阶段性成绩。先把基础打牢,再探索边界。

剩下的,交给下一个版本。(本文首发钛媒体APP,作者|AGI-Signal,编辑|秦聪慧)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA第一外援成混子,上海队看走眼惨败,北京辽宁成最大赢家

CBA第一外援成混子,上海队看走眼惨败,北京辽宁成最大赢家

宗介说体育
2026-11-21 11:32:40
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

懂球帝
2026-11-20 21:30:39
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

故史闲谈局
2026-11-21 03:04:09
金饰克价,直线跳水!

金饰克价,直线跳水!

环球网资讯
2026-11-20 16:02:39
这微胖女孩的穿搭,胆量比肉感更值得聊

这微胖女孩的穿搭,胆量比肉感更值得聊

记录生活的小明
2026-11-21 06:35:12
湖人开局超预期,ESPN名记泼冷水:这阵容夺不了冠

湖人开局超预期,ESPN名记泼冷水:这阵容夺不了冠

甜度百分百21
2026-11-21 12:14:03
APEC峰会已经结束,各国都拿到了大结果,为啥唯独不见莫迪的影子

APEC峰会已经结束,各国都拿到了大结果,为啥唯独不见莫迪的影子

影孖看世界
2026-11-20 23:22:07
笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

石辰搞笑日常
2026-11-20 00:48:24
号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

城事堂
2026-11-19 08:49:08
金饰克价继续下跌 老凤祥单日跌34元

金饰克价继续下跌 老凤祥单日跌34元

财联社
2026-11-21 10:35:02
印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

比利
2026-11-21 01:05:34
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

球场没跑道
2026-11-21 00:09:02
白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

极目新闻
2026-11-19 09:25:11
内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

一枚大装家
2026-11-19 14:34:04
金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

华夏时报
2026-11-20 22:15:03
2026-11-21 12:36:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142277文章数 862718关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
亲子
房产
教育
公开课

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版