架构一行没改,成绩却往上跳了一大截。SemiAnalysis 对 GLM 5.3 的拆解里,最扎眼的一句是:架构不动,全力押注后训练。开放权重模型在特定领域追上闭源旗舰,靠的不是换骨架,是把后训练这一环做透了。
![]()
先看技术侧的一个澄清。稀疏注意力常被理解成"省显存",这套分析给出的说法不一样:它解决的是带宽瓶颈,不是容量瓶颈。挑选相关 token 减少的是计算时的搬运量,全部上下文仍然得留在 HBM 里。容量问题另有一套解法,比如 HiCache 这类卸载机制。
这个区分挺关键。带宽和容量是两笔账,混在一起谈,很容易把稀疏注意力当成万能药。搬运少了,单位时间能过的 token 就多;但上下文该占的地方一点没少,卸载机制该上还得上。
工程侧的信息更有意思。GLM 5.3 展现出极强的国产芯片适配能力,分析通过算术强度分析暗示,Z AI 在设计之初就考虑了对非 NVIDIA 硬件的适配。软硬件协同设计在算力受限环境下的分量,被这条线索摆到了台面上。
后训练这条路径的性价比,是整篇拆解的核心结论。GLM 5.3 架构未变,仅通过优化 GRPO 变体和高质量人工标注,就在 agentic 基准和安全能力上实现了巨大飞跃。安全领域的表现被形容为闭源级,攻防场景下的能力提升尤其明显。
把这几条串起来看,逻辑是通的:
- 架构层面不动刀,省掉重训的代价
- 后训练加高质量标注,直接拉领域能力
- 设计阶段就对齐国产芯片,算力受限也能跑出效率
还有一个绕不开的悖论。模型越高效,并发越高、token 消耗越大——杰文斯悖论在推理侧照样成立。省下来的算力,很快会被更多的请求吃掉。对做基础设施的人来说,这不是坏消息,是账单换了个地方出现。
开放权重模型能不能在特定领域压过闭源旗舰,这份分析给出的答案是能,前提是把后训练和硬件协同这两件事同时做对。架构创新的光环之外,还有一条更笨也更稳的路。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.