网易首页 > 网易号 > 正文 申请入驻

寒序科技,重新发明“HBM”

0
分享至



国内首家MRAM计算公司寒序科技公布uHBM®与uLPU™,将Persistent MRAM权重驻留计算从验证芯片推进至Die、Chip、Tray和Rack完整产品路线。

进入大模型推理的下半场,存储再次回到计算架构的中心。

以三星为代表的DRAM-PIM 路线,尝试把特定运算下沉到内存;以 Groq 为代表的 SRAM LPU 路线,用大容量片上 SRAM 承载权重;寒序科技选择Persistent MRAM,把模型权重驻留与矩阵向量计算放进同一颗Compute-Memory Die。三条路线的器件基础、工艺边界和系统形态各不相同,却指向同一个问题:进入大模型Decode 阶段后,权重究竟还要搬多远?

近日,寒序科技正式公布uHBM® 与 uLPU™ 推理计算架构及产品路线,产品形态从 uHBM®-Die、uLPU™-Chip,延伸至 Module、2U Tray 和 Rack。首代完整工程产品目前进入流片前收敛,未来两年将重点推进工程实现与量产。作为国内首家MRAM 计算公司,寒序此次发布的意义,在于把磁计算从验证芯片进一步推向一条完整产品路线。



uHBM®-Die

Decode 阶段,权重搬运成为主角

大模型Prefill 阶段可以并行处理较长的输入序列,计算密度相对较高;进入 Decode 阶段后,系统开始逐个生成 Token。对于 FFN、MLP 和 GEMV 等典型负载,每一轮计算只输入规模相对有限的激活向量,却需要反复读取本轮参与计算的大规模模型权重。

一颗FP4 权重只有 4 bit。单次读取几乎微不足道;当几十亿颗权重伴随每一个 Token 被重新读取,数据搬运便会持续占用显存带宽、封装接口和系统功耗。

HBM3E 持续提高存储与 GPU 之间的接口带宽,权重仍需跨越存储与计算之间的物理边界。对于对话式 AI,这段路径影响首字延迟和单用户生成速度;对于机器人、智能驾驶等交互系统,它还会进入感知、决策与控制的实时闭环。

寒序把问题进一步收窄:如果权重能够长期驻留在计算附近,每个Token 真正需要移动的数据,就能从高维权重矩阵缩减为低维激活向量。



HBM3E 与 uHBM® 权重路径示意

磁计算的第三条路

DRAM、SRAM 和 MRAM,正在给出三种不同的计算存储答案。

DRAM-PIM 可以利用 DRAM 的容量基础,把部分计算进一步推近存储阵列,其工程边界由 DRAM 工艺、刷新机制、数据组织和可集成算子共同决定。SRAM 拥有低延迟和高片上带宽,适合构建确定性较强的数据流架构,代价则体现在芯片面积、容量和系统扩展成本上。Persistent MRAM提供另一种器件组合:模型权重写入后可长期保存,权重读取与计算阵列能够在更近的物理位置结合。大模型推理中的权重读取频率远高于权重更新频率,这一读密集特征与MRAM 权重驻留具有天然的架构匹配。

寒序已建立的先发位置,覆盖从MRAM 器件到 Compute-Memory Die,再到推理芯片和系统的整条链路。

u,是 Ultra的意思

uHBM® 的基本单元,是一颗集成Persistent MRAM与矩阵向量计算的Compute-Memory Die。模型权重完成加载后驻留在片内;Decode 时,激活向量进入 Die,在片内完成权重读取、矩阵向量乘和局部归约,再将低维结果送往后续计算单元。

权重留在片内,计算发生在权重旁边。这就是寒序所定义的Weight-Resident Compute。uHBM® 中的“u”取自 Ultra,首先指向 Ultra-High Bandwidth,也强调带宽发生位置的变化:高带宽读取从存储器与计算芯片之间,进一步进入权重所在的 Die 内。

uHBM® 属于寒序对 Compute-Memory 产品架构的命名,与 JEDEC HBM 的 DRAM 世代命名分属不同体系。它延续 HBM 以高带宽服务计算的产品目标,底层介质与数据路径则转向Persistent MRAM和片内计算。

寒序将这项产品概括为一句话:重新发明HBM。



uLPU™-Chip 爆炸结构产品渲染图

接口与封装,决定一颗Die能否进入系统

一项计算架构要成为产品,还需要回答它如何进入现有GPU、NPU、端侧主控和云端系统。

寒序给出的uHBM® 接口规划包括四个方向:面向 UCIe 标准封装集成与先进封装集成的两类形态,以及面向低功耗板级连接和高带宽独立连接的 LPDDR5X、GDDR7 形态。

在封装层面,路线从标准封装内集成延伸至以中介层或桥接结构为代表的先进封装集成。前者关注成本与兼容性,后者缩短Chiplet 间链路,面向更高密度的 Scale-Up。

这组方案表达了一个清晰的工程思路:uHBM® 可以作为计算存储单元,与现有 GPU、NPU 组合,也可以进入寒序自研 uLPU™,从端侧一路扩展到云端系统。



uHBM®提供四种接口与两种封装



首代uLPU™ 架构指标

从一颗Die,走向一座Rack

围绕uHBM®,寒序进一步展开 uLPU™ 产品路线:

uHBM® → uLPU™ → uLPU™-Tray → uLPU™-Rack

在端侧形态中,uHBM® 可与 NPU 组合,由 NPU 承担 Prefill、Attention、KV Cache、动态算子及系统控制,高带宽敏感的 FFN、MLP 和 GEMV 在 uHBM® 内执行。面向云端,uHBM® 可与 uIO Die 组合,通过高速 Chiplet 接口构建 Scale-Up,并继续接入 Scale-Out 网络。

Module 与 2U Tray 将芯片转化为可部署计算单元;多个 Tray 进一步组成 Rack-Scale Inference System。由此,Weight-Resident Compute从一颗Die 延伸到端侧芯片、服务器和整座机柜。



寒序科技产品路径,从uHBM®、uLPU™ 延伸至 uLPU™-Tray 与 uLPU™-Rack

三年磨一剑,先发优势落在硅片上

寒序科技成立于2023 年 8 月。2024 年初,北京市科委项目立项,团队围绕超大带宽、Persistent MRAM、权重驻留和片内矩阵向量计算持续推进验证。

在刚刚举行的Hot Chips 2026上,三星发布了LPDDR5X-PIM产品,NVIDIA也首次完整展示了GPU与Groq LPU协同推理的方案:GPU处理Attention和KV Cache,LPU驻留模型权重并执行FFN。

这些方案都在解决同一个问题:大模型进入Decode阶段后,如何减少权重搬运,让存储带宽真正转化为Token生成速度。

在Hot Chips 2026之前,寒序已经围绕这一方向完成了验证芯片、系统原型和知识产权布局。

在北京市科技计划支持下,寒序完成了高带宽AI推理验证芯片SpinPU-ED01的流片、回片和第三方检测。样片集成120个MRAM Bank,实测片上访存带宽密度达到0.105 TB/(mm²·s),并完成端到端模型推理与24小时稳定运行。

今年3月,寒序提交了两项高带宽推理发明专利申请,并于6月公开。

第一项专利围绕MRAM权重静态驻留、固定节拍读出、激活向量流式输入、多Bank并行计算和结果累加展开。权重在推理过程中持续驻留于MRAM阵列,外部接口只接收激活向量并输出结果向量。

第二项专利进一步覆盖Transformer Decode阶段的系统分工:主处理器负责Attention、KV Cache及其他动态计算,卸载子系统执行FFN等权重密集型线性层,主处理器与卸载子系统之间传输激活和结果,不再反复搬运完整权重。相关方案覆盖UCIe、LPDDR、PCIe、CXL、RDMA、以太网等接口,并延伸至封装内、板级和网络级多芯片扩展。

其中,LPDDR等标准接口下的近存计算方案,与三星此次公开的LP-PIM方向形成呼应;主处理器负责Attention、卸载子系统负责FFN等线性层的分工,也与NVIDIA此次公开的GPU与LPU协同架构相互印证。

未来两年,大量招募人才并走向量产

未来两年,寒序将工作重心放在工程实现与量产。围绕uHBM与uLPU,寒序同步启动新一轮全球人才招募,重点寻找具备以下经验的核心研发人员:

  • SoC架构、数字设计、PPA与物理实现;
  • AI编译器、Runtime与多芯片任务调度;
  • UCIe、SerDes、Scale-up与Scale-out互联;
  • 先进封装、芯片供电与热设计;
  • 服务器、Tray及Rack级系统研发。

寒序也欢迎来自GPU、NPU、交换芯片、高性能计算、通信、航空航天和复杂电子系统领域的工程人员加入。团队支持北京、上海、深圳、横琴及北美多地协同。

Samsung和NVIDIA已经完成了最重要的一轮市场教育。

寒序接下来把时间留给流片、回片和系统。



uLPU™-Rack

从一颗Die,到一座 Rack。磁计算真正值得期待的阶段,刚刚开始。

*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不到900元拿下RTX 5070!黑人兄弟:你小子还差点火候

不到900元拿下RTX 5070!黑人兄弟:你小子还差点火候

游民星空
2026-09-08 16:07:00
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
今天9月9日!全网含泪刷屏,看完瞬间破防,永远缅怀伟人!

今天9月9日!全网含泪刷屏,看完瞬间破防,永远缅怀伟人!

石辰搞笑日常
2026-09-09 08:20:51
早上九点!男篮迎来亚运会首秀,郭士强带队欲轻取开门红!CCTV5直播

早上九点!男篮迎来亚运会首秀,郭士强带队欲轻取开门红!CCTV5直播

大卫的篮球故事
2026-09-08 20:49:32
马拉尼昂只差个进球,河南成平局专业户,三镇补赛抢分,苏帅不至于两连降吧

马拉尼昂只差个进球,河南成平局专业户,三镇补赛抢分,苏帅不至于两连降吧

替补席看球
2026-09-09 15:12:10
娃哈哈集团成被执行人

娃哈哈集团成被执行人

界面新闻
2026-09-09 15:13:30
国新办发布会上,全国政协副秘书长提到:很多农民都认识这位政协委员

国新办发布会上,全国政协副秘书长提到:很多农民都认识这位政协委员

极目新闻
2026-09-09 13:56:14
一场2-1验出皇马一大水货,全队最低分,穆里尼奥错信他,恐遭冷落

一场2-1验出皇马一大水货,全队最低分,穆里尼奥错信他,恐遭冷落

零度眼看球
2026-09-09 14:41:06
大S首个冥诞!墓前鲜花环绕,汪小菲马筱梅杀人诛心,秀恩爱惨遭翻车

大S首个冥诞!墓前鲜花环绕,汪小菲马筱梅杀人诛心,秀恩爱惨遭翻车

八卦王者
2026-09-09 14:24:42
徐树杰已任上海虹口区委副书记

徐树杰已任上海虹口区委副书记

澎湃新闻
2026-09-09 13:18:27
嘴硬?日本华裔前羽毛球手身材照走红,本人称不是AI但疑点多

嘴硬?日本华裔前羽毛球手身材照走红,本人称不是AI但疑点多

懂球帝
2026-09-09 12:37:35
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
扎根中国足球10年!培养王钰栋和布尼亚明 他或比邵佳一更适合国足

扎根中国足球10年!培养王钰栋和布尼亚明 他或比邵佳一更适合国足

体育全天候
2026-09-09 15:45:14
2026年“进口轿车”第一名:在逆风之下,今年仍销售出5万多台

2026年“进口轿车”第一名:在逆风之下,今年仍销售出5万多台

柳先说
2026-09-07 18:41:40
1949年划江而治险成真!幸亏没听美苏的,不然中国多惨

1949年划江而治险成真!幸亏没听美苏的,不然中国多惨

小豫讲故事
2026-09-08 06:00:10
刘烨儿子上法国新闻联播!14岁诺一长相大变不敢认,胡子拉碴像野人

刘烨儿子上法国新闻联播!14岁诺一长相大变不敢认,胡子拉碴像野人

八星人
2026-08-21 15:14:51
纪检委最厉害的三个手段,每一个都是实打实的杀手锏,都扛不住

纪检委最厉害的三个手段,每一个都是实打实的杀手锏,都扛不住

职场资深秘书
2026-09-09 13:18:10
10月1号开始,建议家庭备好三样东西!哪三样?早看早知道

10月1号开始,建议家庭备好三样东西!哪三样?早看早知道

三农老历
2026-09-06 01:31:20
财信地产集团原总裁被调查

财信地产集团原总裁被调查

地产微资讯
2026-09-09 11:33:09
扎心的问题:这个社会那么多人失业、没工作,他们是怎么活下去的

扎心的问题:这个社会那么多人失业、没工作,他们是怎么活下去的

慧翔百科
2026-06-29 11:30:42
2026-09-09 16:32:49
半导体产业纵横 incentive-icons
半导体产业纵横
探索IC产业无限可能。
3269文章数 1348关注度
往期回顾 全部

科技要闻

AI重大突破!OpenAI称解开近百年数学难题

头条要闻

卡德罗夫:俄乌冲突爆发以来 车臣共和国派出超7.6万人

头条要闻

卡德罗夫:俄乌冲突爆发以来 车臣共和国派出超7.6万人

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭麒麟最便宜贵公子争议,本人未回应

财经要闻

8月CPI同比涨0.8% PPI环比由降转涨

汽车要闻

魏牌全新蓝山申报信息曝光 方盒子造型 5/6座可选

态度原创

艺术
旅游
本地
手机
游戏

艺术要闻

17幅 当代俄罗斯画家 布鲁西洛夫风景油画

旅游要闻

龙华点燃深港夏日夜经济 夏日狂欢节解锁一站式游玩体验

本地新闻

宁波,中国制造的隐藏大佬

手机要闻

中国联通:智能手机正式开启一机四号模式!eSIM手机将冲击2000万台

《塞尔达传说时之笛重制版》发售日、售价、玩法改进等情报公布

无障碍浏览 进入关怀版