网易首页 > 网易号 > 正文 申请入驻

每秒百万Token的大模型,岩芯矩阵分三步

0
分享至



AI写一个完整的项目,要多久?

写代码、调工具、跑测试、发现问题......再改一个稍复杂的Agent任务,生成10万token并不稀奇。

以EdgeRock-4B在单张GPU上的实测速度计算,每秒约234个token,光是把这10万token写出来,就要7分钟。

如果每秒能生成100万token呢?

0.1秒。



7分钟到0.1秒,靠的不是零敲碎打的优化,而是整套推理方式的改变。

这正是岩山科技旗下岩芯矩阵(Rock Matrix)给自己定下的目标——Ultra-Fast Token:让强模型以单用户每秒百万token的速度持续生成。

在最新的技术白皮书中,岩芯矩阵完整公开了这条路线:一个目标,三条产品线,三步走。其中第一步,已经开源。

01

模型越来越能干,却快不起来

先说说,速度为什么突然变得这么重要。

模型正在从回答问题走向完成任务。推理模型动辄思考几万token, Agent一跑就是几十轮工具调用,机器人则要让感知与推理在同一个循环里持续运行。

智能能进入多少产品,越来越取决于两件事:生成有多快,记忆能撑多久。

可偏偏在这两件事上,今天的大模型都撞上了墙。

02

卡住速度的三堵墙



第一堵,记忆墙。

今天的大多数模型把推理历史存在KV Cache里,每生成一个token就多存一份。推理越长,占的显存越多,一张卡能同时服务的请求就越少;每个新token还要回头把越积越多的历史读一遍,越写越慢。

以Qwen3.5-4B为例,一条256K的序列,光KV Cache就要8GiB。

压缩、稀疏、量化、混合架构,都在给每个token“瘦身”,但缓存仍随推理增长。放慢增长,只是把内存墙推远。

第二堵,串行墙。

自回归模型一次只写一个token,生成N个token,就要把整个模型串行算N遍。单用户解码时, GPU的瓶颈在读数据而不在计算,大量算力就这么闲着。

第三堵,搬运墙,也是最根本的一堵。

每生成一个token,处理器都要把整套权重从显存里重新读一遍。以一个约21亿参数的模型为例,即使权重量化到4位,每个token仍要搬运约913 MB。

要做到每秒百万token,就得每秒搬运913 TB,远远超出了任何存储系统的能力 。换句话说,真正卡住速度的,往往不是计算,而是搬运。

03

三条产品线,各拆一堵墙



岩芯矩阵的回答,是三条产品线, 各拆一堵墙。

把三条线串在一起的,是同一个核心技术:世界状态(World-State

模型不再保存一份越写越长的完整历史,而是维护一份容量固定的状态,用它概括此刻的世界,并随着新信息的到来不断更新。

这样一来,推理再长,内存也不会上涨 。4K和256K的推理用的是同一份内存,内存不再取决于输入有多长,而是在设计时就已确定。

这份确定性,正是后面一切提速的地基。

第一步EdgeRock:让记忆不再增长

固定内存本身并不新鲜。循环模型、状态空间模型早就做到了,可它们把历史压成一份模糊的概要,远处的关键细节一旦丢失,推理能力也随之下降。

作为参考,其他16款有界状态模型中,参数规模最大的达到14B,AIME 2024-2026三届平均成绩最高为18.8%。而岩芯矩阵本次开源的EdgeRock 则以仅 4B 的参数规模,在恒定显存下取得 82.9% 的成绩,达到上述模型最高分的 4.4 倍。

难的不是固定内存,而是固定之后还记得住。

为此,岩芯矩阵原创了记忆岩锚(Rock Memory Anchors,RMA)。它的设计取意于岩锚:将推理所需的关键信息固定下来。

世界状态把历史分成三部分:循环状态抓大意,局部窗口管眼前,RMA的锚点库记关键。哪些细节值得长期保留,由模型自己学会判断;每处理256个token取舍一次,只留下得分最高的锚点。



每个锚点都标有来源位置,模型记住了什么,可以直接查看。

EdgeRock正是首个落地世界状态的模型系列。首个开源模型EdgeRock-4B由岩芯矩阵联合港科大、 CMU等完成, 支持文本与图像推理。



KV Cache砍掉99.1%的同时, EdgeRock-4B的推理能力与内存随推理增长的领先小模型处于同一水平,单卡长推理吞吐也提升到来源模型的6.42倍。

这份推理能力从哪来?推理时把RMA全部关掉,长上下文上的远距离查询正确率会从94.1%跌到0.4%。撑起推理的,正是锚点。

第二步DiffusionRock:一次生成一整块

拆掉了记忆墙,还有串行墙。

DiffusionRock不再一个token接一个token地往外写,而是一次提出一整块内容:一段代码、一组工具调用, 或者一段动作 。随后用少量几轮去噪, 集中修正不确定的位置, 简单的块还可以提前停止。



修正的轮数少于块长,串行步数就少于token数,原本闲着的算力也用上了。

与现有扩散模型不同,DiffusionRock以世界状态为条件:任务再长,每一轮去噪要读取的历史量都不变。

目前,DiffusionRock的推理速度已达到每秒1,500 token。下一步,模型与推理代码也将开源。

第三步SiliconRock:把模型完全固化进芯片

最后,也是最硬核的一步:拆掉搬运墙。

SiliconRock的回答是彻底不搬运。

4位权重和缩放系数被直接做成固定的计算路径 。权重不再是需要读取的数据,而是电路本身,生成时一个字节也不必搬运。

又因为世界状态的容量在设计时就已确定,每一层都可以把自己的状态放进就近的片上存储。在原型中,每层配有1 MiB的状态存储,而且不随上下文增长。



这样一来, 解码路径上只剩下必要的计算。就连词表输出这一步也做了就地筛选,每个token跨片传输的数据从472,576字节降到7,424字节, 减少了64倍。

百万token/s,意味着每个token只有1微秒,在1GHz时钟下大约是1,000个周期。按架构建模, SiliconRock每个token需要884个周期, 相当于每秒约113万token。

目前,SiliconRock已经在宏级原型上跑通了从模型设计到芯片版图的完整流程,完成关键电路布线,并通过固定权重计算的相关验证。

把模型做进芯片,并不是没人想过。

Taalas已经把Llama 3.1 8B固化进芯片,单用户速度约每秒1.7万token,证明了模型专用芯片的速度潜力。但它固化的是现成的全注意力模型,KV状态仍随上下文增长,搬运只去掉了一半。

岩芯矩阵则先改模型、再固化,权重和状态两项搬运都被去掉。这就是 “存算联动”:模型决定保存什么,芯片决定如何高效完成。

固化也不等于僵化。主权重和主计算图固化在芯片里,LoRA、行业词表、动作域校准和安全阈值则留在可更新的外壳中,行业适配仍然可以持续进行。

04

三条产品线,同一个模型

三条线分工不同,指向的却是同一个终点:一个全模态 、any-to-any的世界状态模型, 既能理解, 也能生成。

以英伟达的世界模型Cosmos 3为例。它的理解部分是自回归的,生成部分是扩散的,而生成部分每一步都要读取理解部分的全部历史。



岩芯矩阵的三处改造恰好一一对应:理解部分改造成EdgeRock的世界状态,生成部分交给DiffusionRock整块生成;状态与权重都固定之后,再由SiliconRock把整个模型做进芯片。

05

快起来之后,能做什么?

Agent:和前沿大模型混合加速。

Agent的大部分token, 花在写代码、调用工具、执行子任务、 反复检查和修正这些高频生成上;前沿大模型擅长的规划和关键判断, 只占其中一小部分。



分工因此很自然:前沿模型负责规划、关键判断和最终校验,岩芯矩阵的快模型承担大量高频生成。恒定内存还让Agent的历史内存不再随工具调用次数增长。

物理世界:赶上控制窗口。

机器人、车载和工业设备都按固定的控制窗口工作, 结果必须在窗口内返回,模型才能参与本轮动作。恒定内存让感知与推理能在同一个循环里一直跑下去, 高速生成则让候选动作和轨迹更早返回。

部署:从端侧到数据中心。

数据中心承接长推理和Agent,区域边缘让企业和园区共享推理能力,端侧则在隐私、弱网和现场响应的场景中本地运行;SiliconRock服务其中调用量大、形态稳定的负载。



无论部署在哪里,每条请求要多少内存,推理开始前就能算清楚。

路线图



三条产品线,指向同一个目标:Ultra-Fast Token。

强推理,不需要一份随每个token增长的记忆。

岩芯矩阵的路线,可以概括成一句话 :先让记忆不再增长,再把这份确定性一路转化为速度。

EdgeRock让吞吐提升到数倍,DiffusionRock让生成整块完成,SiliconRock让单用户每秒百万token成为设计目标。

这就是Ultra-Fast Token:强,而且快。

EdgeRock-4B已开源:

GitHub:

https://github.com/rockmatrix-ai/EdgeRock

Hugging Face:

https://huggingface.co/rockmatrix-ai/EdgeRock

官网链接:

www.rockmatrix.ai

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

每日经济新闻
2026-11-19 20:34:03
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
毛宁现身这场APEC重要发布会 笑着挥手打招呼

毛宁现身这场APEC重要发布会 笑着挥手打招呼

看看新闻Knews
2026-11-19 22:41:13
谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

一娱三分地
2026-11-19 12:38:41
国际金银价格大幅下跌,现货黄金收跌2.7%

国际金银价格大幅下跌,现货黄金收跌2.7%

每日经济新闻
2026-11-20 06:12:06
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

人生录
2026-10-28 00:40:06
美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

青眼财经
2026-11-19 21:56:30
善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

可乐谈情感
2026-11-20 09:46:20
8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

林间小温柔
2026-11-20 11:24:27
北京电影学院马克思主义学院成立

北京电影学院马克思主义学院成立

澎湃新闻
2026-11-19 20:09:07
一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

粤睇先生
2026-11-20 00:15:36
战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

篮球小布丁
2026-11-20 03:49:01
告别“长枪短炮”,外媒记者纷纷点赞:想要一台

告别“长枪短炮”,外媒记者纷纷点赞:想要一台

极目新闻
2026-11-19 17:03:52
三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

晓艾故事汇
2026-11-19 17:08:14
毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

大运河时空
2026-11-19 10:15:05
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

澜归序
2026-11-20 09:37:45
释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

往史过眼云烟
2026-11-20 10:04:15
黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

揽星戈
2026-11-20 00:08:40
2026-11-20 11:39:00
第四波
第四波
深度科技资讯,产业一线报告
194文章数 4关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

家居
健康
本地
教育
亲子

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

你认识“熊”,也背过“忍受”,但bear这道题你大概率还是会错

亲子要闻

一件事做1000遍的孩子会得到什么?

无障碍浏览 进入关怀版