网易首页 > 网易号 > 正文 申请入驻

姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图

0
分享至

听雨 发自 凹非寺
量子位 | 公众号 QbitAI

Hy小模型已经在路线图上,面向24GB显存的模型也有计划。

今天凌晨,姚顺雨和腾讯混元团队来到Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。



AMA是「Ask Me Anything」的缩写,意思是「有什么想问的,尽管问」。网友在评论区提问,混元团队成员直接回帖。



参与名单上只列了Reddit账号,至于哪个马甲是姚顺雨,我们还没对上号……

这场AMA的主角,是混元本月接连发布的两款模型。

11月4日发布的Hy4是旗舰,能理解文本、图像和视频,适合长程软件工程这类需要多步推理、反复调用工具的复杂任务。

11月16日发布的Hy4 flash,主打日常办公的速度和成本。它支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。

Hy4和Hy4 flash都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里的修表、改文档、做PPT等典型任务纳入了内部评测WorkIndex,按这套评测测算,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。

两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置:96GB显存、128GB内存,能跑Flash吗?

团队说能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。

也有人问llama.cpp,团队说适配正在做。

聊到研发,团队还透露了不少训练背后的秘诀。

Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。

让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。

还有网友问,后训练里最难改善的行为是什么,团队只回了一个词,Overthinking,过度思考。旗舰Hy4的推理链有时偏长。到了Flash,团队先从旗舰蒸馏,再用强化学习把推理链压短。

从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。

以下是AMA问答节选,按主题编排,中文译文有删节。

Enjoy~

Hy4为什么「想太久」,Flash又是怎么训练的?

网友:和Hy4 preview一样,Hy4正式版有时也会推理太久。这和强化学习的奖励设计有关,还是和训练数据的分布有关?模型能学会什么时候停下来吗?

混元团队:Hy4的目标是尽量提高智能水平,推理链偏长是我们知道的问题。我们可以把Hy4蒸馏成成本效率更高的Hy4 flash,并在Flash上用强化学习缩短推理链。



网友:后训练阶段,最难改善的是哪种模型行为?

混元团队:过度思考。



网友:Hy4现在的参数规模还有多少提升空间?以后想做出更强的模型,必须继续加参数吗?

混元团队:我们认为Hy4还有相当大的提升空间,尤其是在后训练上。我们在投入大规模强化学习,也在继续改善用户体验和模型安全性。同时,我们计划训练更大规模的模型。



网友:训练Hy4和Hy4 flash做长程Agent任务时,多轮强化学习里最难处理的情况是什么?

混元团队:最棘手的是训练环境设计有漏洞,模型会钻空子拿奖励。比如,我们得防止Agent直接上网搜现成答案,让它自己把任务做完。

网友:做命令行任务时,模型编错一个参数就可能让命令出错。你们怎么提高工具调用的准确性,又怎么让模型在长任务里记住前文?

混元团队:我们在强化学习数据里加入了模型容易犯错的难例,奖励也做得更细,关键细节出错会扣得更重。对于长任务,我们在持续拉长强化学习训练所用的上下文,也在提升模型压缩上下文、保留关键信息的能力。



网友:姚顺雨经常提到,选训练数据需要有判断力。你们怎么判断一批数据好不好?

混元团队:数据质量有很多维度,不同领域、不同任务的要求也不一样。无论用人类专家还是智能体,设计和清洗数据都要花很多功夫。最后还是要做实验,看这批数据能不能带来提升。

网友:HyRA 2.0实验里,Hy4带来的提升主要来自哪里?它有发现新的架构或数据配比方面的改进吗?

混元团队:这次提升主要来自底层吞吐优化。要让模型进一步参与研发,还得提高它判断训练方案的能力。用AI做AI研发,本身也是一件周期长、难点多的事。

网友:你们已经用Hy4和HyRA 2.0改进了训练基础设施,也训练出了更好的小模型。接下来会做什么实验,看看这一轮训练出的模型能否在下一轮更擅长做研发?

混元团队:我们正在做HyRA 3.0,敬请期待。

网友:如果让Hy4自己运行,它现在能通过递归自我改进做出下一代模型吗?你们怎么评估这种能力?

混元团队:我们的递归自我改进能力还处于早期,已经做了几项内部基准,用来评估其中的关键能力。

Flash的参数花在哪儿了?

网友:不算Engram,Hy4 flash主干约有1560亿参数,每个Token激活约120亿。如果总参数不变,把激活参数降到80亿或50亿,效果会掉多少?

混元团队:我们做过不同MoE稀疏度的规模实验。固定激活参数量时,提高稀疏度能改善计算效率。但如果固定总参数,再把激活量降到80亿或50亿,我预计模型质量会明显下降。激活参数量决定了每个Token能用多少计算,提高稀疏度能弥补一部分。

网友:Hy4 flash为什么给Engram分配约635亿参数?这个比例是怎么定的?

混元团队:我们的实验看到了一条U形曲线。把Engram也计入总参数量,Engram占比在三分之一左右时,接近实验里的最优点。占比再往下调,计算效率会降低。



网友:Flash为什么选择滑动窗口注意力(SWA)?

混元团队:滑动窗口注意力能把KV缓存压到原来的约四分之一,显著降低部署成本。

小模型、本地部署和下一步

网友:会有Hy4 mini吗?还有人想要比Flash更轻的版本,跑文档解析、分类和简单自动化。

混元团队:Hy小模型已经在路线图上。

网友:下一代Hy模型会做到1.5万亿至2万亿参数吗?

混元团队:下一代Hy模型的规模肯定会进一步显著扩大。

网友:会考虑推出更轻量的Flash-Lite吗?比如用来做文档解析、分类和简单自动化。

混元团队:有的,敬请期待Flash-Lite。

网友:有面向24GB显存的模型计划吗?

混元团队:有,未来会发布。

网友:我有96GB显存、128GB系统内存,能跑Hy4 flash吗?

混元团队:可以。主要权重和注意力计算放在GPU上,部分专家层可以卸载到系统内存,Engram表也可以放在内存里。

网友:同一个工作任务,托管版Hy4 flash在我的测试里全对,本地NVFP4版本却出现了约8%的错误。这个模型更难量化吗?

混元团队:量化质量很看方法和校准方式。团队建议试试用GPTQ量化的NVFP4版本。在我们的评测里,这个版本与BF16的差距较小,更适合这类对准确率敏感的任务。

网友:llama.cpp支持会怎么推进?你们会和推理框架社区提前合作吗?

混元团队:我们正在做llama.cpp适配,预计近期会在社区放出。我们也在和vLLM、SGLang等社区合作。

网友:现有的Hy4 flash还会更新吗?

混元团队:会。我们正在优化Flash级模型的预训练和后训练方案。

怎么看模型的表现

网友:为什么没公布GPQA Diamond、τ-bench、IFBench、SWE-bench这些常见评测的成绩?

混元团队:我们展示的是Agents’ Last Exam、ProgramBench这类较新、难度更高的评测。你提到的几项出现得更早,分数已经接近饱和。

网友:我感觉有些模型的写作能力在退步。是因为拿太多代码来训练、过拟合了,还是有别的原因?

混元团队:我们也注意到了,可能和训练目标有关。我们希望模型写得更像人、少一点套话,这方面正在改进。



One More Thing

那么,QA实录到这里就结束了。

想自己试试Hy4 flash?打开WorkBuddy,在模型列表里选中Hy4 flash,把手边待改的表格或待整理的会议纪要交给它跑一遍。

11月30日前,可以在WorkBuddy限时免费体验~



参考链接:
https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

环球网资讯
2026-11-21 07:06:39
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

华尔街见闻官方
2026-11-21 06:34:34
最高检公布案例:黄某升强奸再审抗诉案,由无罪改判为五年六个月;孙某飞强奸、猥亵儿童二审抗诉案,由四年十一个月改判为十四年

最高检公布案例:黄某升强奸再审抗诉案,由无罪改判为五年六个月;孙某飞强奸、猥亵儿童二审抗诉案,由四年十一个月改判为十四年

台州交通广播
2026-11-21 13:07:43
TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

TVB台庆:叶蒨文露半球狂凹造型,却被汪明荃的辣椒装抢了风头

手工制作阿歼
2026-11-20 16:14:33
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

大风新闻
2026-11-21 09:12:09
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
紧迫、重要、根本,日本方面、高市早苗能听明白这三点吗?

紧迫、重要、根本,日本方面、高市早苗能听明白这三点吗?

新民周刊
2026-11-21 08:21:53
别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

命运自认幽默
2026-11-21 07:52:54
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

长津湖战役中,美军发现一整连志愿军官兵冻死在阵地上。电影里表现是美军敬礼,但据当年一名16岁幸存者回忆,美军并没敬礼,而是挨个补枪

人生录
2026-11-21 00:05:14
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

老郭在学习
2026-11-20 16:10:45
Nike首次设计德国队新球衣遭吐槽!网友:辣眼睛,像垃圾桶...

Nike首次设计德国队新球衣遭吐槽!网友:辣眼睛,像垃圾桶...

品牌新
2026-11-20 19:21:16
就在今天!哈登创造了80年NBA纪录

就在今天!哈登创造了80年NBA纪录

篮球大视野
2026-11-21 12:00:04
一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

林轻吟
2026-11-21 11:33:02
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

趣笔谈
2026-11-21 11:08:09
华为星芒首款手机价格公布,这价格烧心了,把大家看傻了

华为星芒首款手机价格公布,这价格烧心了,把大家看傻了

辣条小剧场
2026-11-21 03:04:20
2026-11-21 15:03:00
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
教育
房产
旅游
军事航空

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版