深度｜腾讯AI的双线战争：混元之外，微信WeLM用四年证明了另一种可能

7月6日，腾讯混元Hy3正式版发布。

同一天，几乎没有人注意到另一件事：微信AI团队在GitHub上 quietly 放出了Hidden Decoding at Scale的正式论文，WeLM技术博客同步更新。不仅如此，WeLM的官方技术团队还开设了小红书账号，开始对外宣传WeLM的技术成果。

信号的导火索在几个月前。据《中国企业家》报道，2026年腾讯年会上，微信高层公开表态，希望自己训练大模型，集团给予更多GPU支持。

在腾讯集团层面，混元是无可争议的「正规军」。前OpenAI研究员姚顺雨空降半年，AI Lab被整体并入，数百亿研发投入押注于此。

但在这条主线之外，微信事业群也正在悄悄发力。它的名字叫WeLM。

比ChatGPT还早的"微信造"

WeLM的诞生，比大多数人以为的要早得多。

2022年10月，WeLM的第一个版本悄然上线。彼时OpenAI的GPT-3.5尚未发布，ChatGPT还要再等一个月才会引爆全球。

微信AI团队在技术博客里低调地放出了10B参数模型的论文，然后便归于沉寂。此后三年，外界几乎遗忘了这个项目。

真实的答案是：WeLM一直在迭代，只是从未对外。

2026年1月到7月，微信AI团队在welm.weixin.qq.com上发布了四篇技术博客，完整地向外界展示了WeLM团队的选择、路径和野心。

第一篇：《以适度资源构建高效稀疏MoE模型》（2026年1月）

"WeChat AI团队聚焦于构建极具成本效益的MoE模型，在不足14T tokens的语料上训练出了80B-A3B MoE模型，其性能在同量级乃至更大规模系统中均极具竞争力。"

这句话的关键词是"不足14T tokens"。

要知道，同级别的模型训练通常消耗数十万亿token。WeLM团队用不到 industry average三分之一的训练数据，做出了一个80B总参数、单次仅激活3B参数的稀疏模型。

论文详细介绍了WeLM-V4的完整架构：loss-free balance routing（无损均衡路由）、sigmoid gate配合一个共享expert、Grouped-Query Attention（GQA）与partial RoPE、KNorm稳定注意力logit。其中最值得注意的两项原创设计是：

KV-Mirror技术——允许浅层与深层之间共享hidden states以生成KV activation，在prefill阶段显著降低推理成本。对微信这种长上下文场景（群聊记录、朋友圈动态）而言，这是决定性的工程优化。

Multi-Token Prediction（MTP）层——在模型最上层额外添加一层MoE作为MTP层，支持推理阶段的speculative decoding（投机解码）。简单说，就是让模型一次猜多个token，猜对了就批量通过，猜错了再逐个修正。这直接提升了小微在实际对话中的响应速度。

论文还展示了通过Depth Up-Scaling（深度上扩展）技术获得的130B变体，将80B基座模型中间三分之一的层循环复制两次，仅经过少量追加训练，便在GPQA-Bench（研究生级推理基准）上从65.57提升至68.21，Web-MMLU从89.47提升至90.17。

第二篇：《初探WeLM-258B MoE模型后训练》（2026年1月）

如果说第一篇讲的是"怎么练出一个模型"，第二篇讲的是"怎么让它听话"。

这篇论文以WeLM-V3-258B-A22B为例，披露了完整的后训练流程。整个流程分为冷启动阶段和强化学习训练阶段：先用高质量指令数据做 SFT，让模型学会遵循指令和生成连贯回复；再进入RL阶段，结合验证器、奖励模型和策略优化算法，进一步提升推理能力和有用性。

RL训练中的稳定性是行业公认的大模型训练难点。WeLM团队提出了两项关键技术：

推出校正（IcePop）——通过双向截断与动态掩码机制，校正训练与推理阶段的概率分布偏差，避免RL训练崩溃。

熵控制策略（Clip-Cov）——通过限制高协方差token的梯度更新，防止模型在RL训练中过早陷入"过度自信"状态，保留了持续探索的可能性。

最终，WeLM-258B在多个评测上与DeepSeek-V3.1正面交手：MATH（61.2 vs 57.0）、代码评测EvalPlus（73.9 vs 69.9）、多语言编程MultiPL-E（73.4 vs 64.9）、LiveCodeBench（37.4 vs 26.4）——均超过DeepSeek-V3.1。在中文评测上，CMMLU 91.0，C-SimpleQA 73.4，也处于同级别模型的第一梯队。

第三篇：《Hidden Decoding：在预训练中扩展序列长度》（2026年3月）

这是四篇中最具原创性的工作，也是WeLM团队区别于行业主流路线的最鲜明标志。

问题的起点是这样的：随着DeepSeek-R1和OpenAI o1/o3的实践，"让模型多思考一会儿"——即在推理阶段生成长思维链（CoT）——已被证明能极大提升模型质量。但这种显式推理有一个致命缺陷：它依赖自回归的串行生成，每次只能生成一个token，带来了漫长的延迟。强制模型在离散的自然语言空间中"思考"，对神经网络的内部复杂规划而言，本身就是一种低效的信息载体。

WeLM团队的解决方案是Hidden Decoding——一种全新的Scaling范式。

核心思想极其巧妙：在不增加Transformer主体参数的前提下，复制多份Vocab Embedding，将序列长度扩展n倍。每个token在单次前向传播中，获得n倍的有效计算量。模型在连续的潜空间中"思考"，不是输出实际的文字token，而是在hidden states层面完成推理过程，然后将思考结果"折叠"进最终的输出。

这与行业主流的CoT路线形成了微妙但关键的分歧：别人让模型"说出来"思考过程，WeLM让模型"在心里想，用更高的计算密度换取更快的推理速度。

实验数据验证了这条路线的有效性。在80B规模上，从基线到scale n=8的渐进式扩展，BBH（大模型硬基准）从87.5提升至90.6，MMLU从85.1提升至87.5，MATH从60.4跃升至71.7。最引人注目的是，模型在经过简单SFT后展现出了惊人的文学创作能力——当被要求"以汾河为题赋一篇陆机风格的骈文"时，WeLM-HD8的输出让评测人员难以区分是AI生成还是人工作品。

这篇论文的代码和模型已在Hugging Face和GitHub上开源，基于Qwen3-8B的Dense模型可以直接用SGLang本地部署。

第四篇：《Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展》（2026年7月）

这是最新的一篇，也是最重要的一篇。它回答了 Hidden Decoding 最大的质疑：这个方法能在小模型上work，但能不能scale到真正 deployed 的大模型？

答案是能。

WeLM团队将Hidden Decoding推进到了100B+ MoE的前沿规模，训练出WeLM-HD4-80B与WeLM-HD4-617B（n=4），在完全对齐的对照实验中全面超过各自的自回归基线。这是首个在100B+ MoE规模上、通过继续预训练（CPT）实现的序列长度扩展——此前的深度循环或长度扩展方法从未触及这一规模。

关键的工程创新是Stream-Factorized Attention。多数层只在同一条stream内做注意力、仅少数层跨stream混合，把扩展带来的注意力开销从O(n²)降到接近线性。这使得Hidden Decoding在100B+ MoE上以可接受的训练与服务成本落地成为可能。

评测结果令人印象深刻。在FrontierMath上，WeLM-HD4-80B相对基线提升+3.2；在PHYBench上提升+4.0；在MathArena Apex上提升+3.7。论文还附带了一系列消融实验，验证了KV保留策略和注意力组合的有效性。

这篇论文的正式版本已发表在GitHub Tencent/Sequential-Hidden-Decoding上。值得注意的是，发表时间，2026年7月6日，恰好是混元Hy3正式版发布的那一天。两个团队在腾讯大厦的同一周内，向外界展示了各自最硬的成果。

这不是巧合，这是一种表态。

赛马再现，但这次不一样

WeLM与混元的并行，是腾讯内部一场微妙的双线作战。

在组织架构上，两者的分界线非常清晰：混元隶属技术工程事业群（TEG），由首席AI科学家姚顺雨统筹，向总裁刘炽平汇报；WeLM隶属微信事业群（WXG），由周颢带队，向张小龙汇报。

两条汇报线互不交叉，两个团队各用各的算力、各建各的基础设施。

这不是腾讯第一次内部赛马。2010年前后，手机QQ和微信同步攻坚，最终张小龙的广州团队做出了重塑腾讯基本盘的产品。

但当年的赛马和今天有本质区别：移动互联网时代比拼的是产品体验和迭代速度，试错成本可控；AI大模型赛道高度依赖统一算力集群、人才储备与技术标准，两套体系并行意味着大量的资源重复消耗。

财新在一篇报道中披露了一个细节：WeLM在腾讯缺GPU的情况下训练速度受限，微信事业群只得不断向集团申请新的卡资源。而同一时期，混元团队也在争夺同批次的算力。

高盛在一份研报中直指痛点："两套大模型体系并行引发资源重复投入担忧，两者能否实现协同、训练成本能否最终整合，目前仍是未知数。"

更微妙的信号在于模型的选用。小微暂时没有选择混元作为任何一层的主模型，而是采用了"WeLM主模型+DeepSeek兜底"的混合架构。这意味着，在腾讯最核心的流量阵地中，DeepSeek才是那个被选中的外部力量。

这背后有商业原因，也有组织原因。

商业上，豆包已经用真金白银验证了免费的toC应用走不通。晚点LatePost此前报道，豆包日活超过2亿，每天总收入不到100万元，但推理算力消耗数以千万元计，收入和成本根本不在一个数量级。根据国联民生证券测算，仅维持豆包免费C端服务，单日综合成本就在1.32亿至2.4亿元之间。

微信月活14亿、日活超10亿。腾讯如果给微信全量用户上一个大参数模型跑推理，可能每天就要亏几个亿。

WeLM的架构设计就是这道算术题的答案： 80B总参数保证能力上限，3B激活参数压低单次推理成本。 每次用户提问，模型只动用不到4%的"脑细胞"。这意味着WeLM不适合复杂推理， 但发消息、点外卖、查记录这些高频轻量交互，绰绰有余。但小微的产品设计里留了一条清晰的"逃生通道"：轻量交互走WeLM，需要深度思考时切DeepSeek，切混元也行。

组织上，微信事业群在腾讯内部向来以高度自治著称。"微信的数据是红线中的红线。张小龙不会允许一个他无法完全掌控的模型去处理微信用户的对话内容。"混元虽然是腾讯自研，但归属于TEG，其训练数据的来源、模型权重的管理、推理服务的部署，都不在WXG的掌控范围内。而WeLM从训练到推理的全链路，完全由微信团队自己搭建。

这不是简单的技术选型，这是主权问题。

克制本身就是一种力量

理解WeLM为什么存在，必须回到张小龙。

微信上线15年，张小龙用一贯的产品哲学定义了这个产品：工具属性优先，用完即走，不制造信息焦虑，不主动打扰用户。这套理念在移动互联网时代被奉为圭臬，但在AI时代，它变成了一道枷锁。

AI天生是"侵略性"的。它会主动推荐、主动提醒、主动介入对话。每一个主流AI产品都在想尽办法占据用户的注意力和时间。这与微信的产品基因截然相反。

小微的设计，处处可见这种张力。它被藏在主界面左上角。你可以找到它，但它不会主动找你。聊天窗口里，你必须点击"问小微"才能临时调用。它甚至不会主动读取群聊记录，除非你明确授权。

WeLM的技术路线同样在回答同一个问题。它不做通用对话，不做创意写作，不做代码生成，这些混元和DeepSeek都能做得更好。当行业都在追捧万亿参数稠密模型时，WeLM选择了一条看起来更"土"的路：MoE小模型、低成本推理、针对微信场景做深度优化。

WeLM只做一件事：理解微信生态内的用户意图，然后调度微信内的服务能力。

灰度测试印证了这条路的合理性。实测中，小微的生成速度极快，除小程序模拟操作外，其他内容生成几乎无需等待。一个代码生成工具可以让用户等十秒，但聊天界面不行。这是微信和Codex的本质区别。

总结朋友圈、调用小程序、发消息、查聊天记录，这些看似"不够AI"的功能，恰恰是14亿用户最高频的需求。

"混元想做一个能回答宇宙终极问题的AI，"一位腾讯内部人士打了个比方，"WeLM只想帮你点好一杯奶茶，然后让你该干嘛干嘛去。"

两条路线，一个终点

2026年7月6日，腾讯正式发布混元Hy3正式版。同日，WeLM技术博客也更新了一篇英文论文《Hidden Decoding at Scale》。

两个团队在同一周对外发声，这是不是巧合？

乐观的说法是，混元和WeLM正在形成互补。混元负责对外输出通用能力，WeLM负责对内承载微信生态的专用场景。姚顺雨在上任后的一次内部讲话中提到，"腾讯拥有大量真实场景，这些场景是模型迭代的磨刀石。"微信当然是最大的那个磨刀石。

悲观的说法是，整合从未真正开始。WeLM的团队、算力、数据体系仍然独立于混元之外。张小龙不会让一个TEG的负责人来决定微信AI的技术路线，就像马化腾不会让一个外部高管来决定微信的产品方向一样。

也许最终，WeLM和混元不会合并成一个模型。但它们必须证明，自己是不可或缺的一部分。在腾讯的AI叙事里，没有谁是理所当然的主角。

而微信的14亿用户也不会容忍一个平庸的AI助手。

WeLM用了四年时间证明自己不输于混元，接下来的问题更难回答：它是否足够优秀，来定义下一个十年的微信？