网易首页 > 网易号 > 正文 申请入驻

每秒百万Token的大模型,岩芯矩阵分三步

0
分享至



AI写一个完整的项目,要多久?

写代码、调工具、跑测试、发现问题......再改一个稍复杂的Agent任务,生成10万token并不稀奇。

以EdgeRock-4B在单张GPU上的实测速度计算,每秒约234个token,光是把这10万token写出来,就要7分钟。

如果每秒能生成100万token呢?

0.1秒。



7分钟到0.1秒,靠的不是零敲碎打的优化,而是整套推理方式的改变。

这正是岩山科技旗下岩芯矩阵(Rock Matrix)给自己定下的目标——Ultra-Fast Token:让强模型以单用户每秒百万token的速度持续生成。

在最新的技术白皮书中,岩芯矩阵完整公开了这条路线:一个目标,三条产品线,三步走。其中第一步,已经开源。

01

模型越来越能干,却快不起来

先说说,速度为什么突然变得这么重要。

模型正在从回答问题走向完成任务。推理模型动辄思考几万token, Agent一跑就是几十轮工具调用,机器人则要让感知与推理在同一个循环里持续运行。

智能能进入多少产品,越来越取决于两件事:生成有多快,记忆能撑多久。

可偏偏在这两件事上,今天的大模型都撞上了墙。

02

卡住速度的三堵墙



第一堵,记忆墙。

今天的大多数模型把推理历史存在KV Cache里,每生成一个token就多存一份。推理越长,占的显存越多,一张卡能同时服务的请求就越少;每个新token还要回头把越积越多的历史读一遍,越写越慢。

以Qwen3.5-4B为例,一条256K的序列,光KV Cache就要8GiB。

压缩、稀疏、量化、混合架构,都在给每个token“瘦身”,但缓存仍随推理增长。放慢增长,只是把内存墙推远。

第二堵,串行墙。

自回归模型一次只写一个token,生成N个token,就要把整个模型串行算N遍。单用户解码时, GPU的瓶颈在读数据而不在计算,大量算力就这么闲着。

第三堵,搬运墙,也是最根本的一堵。

每生成一个token,处理器都要把整套权重从显存里重新读一遍。以一个约21亿参数的模型为例,即使权重量化到4位,每个token仍要搬运约913 MB。

要做到每秒百万token,就得每秒搬运913 TB,远远超出了任何存储系统的能力 。换句话说,真正卡住速度的,往往不是计算,而是搬运。

03

三条产品线,各拆一堵墙



岩芯矩阵的回答,是三条产品线, 各拆一堵墙。

把三条线串在一起的,是同一个核心技术:世界状态(World-State

模型不再保存一份越写越长的完整历史,而是维护一份容量固定的状态,用它概括此刻的世界,并随着新信息的到来不断更新。

这样一来,推理再长,内存也不会上涨 。4K和256K的推理用的是同一份内存,内存不再取决于输入有多长,而是在设计时就已确定。

这份确定性,正是后面一切提速的地基。

第一步EdgeRock:让记忆不再增长

固定内存本身并不新鲜。循环模型、状态空间模型早就做到了,可它们把历史压成一份模糊的概要,远处的关键细节一旦丢失,推理能力也随之下降。

作为参考,其他16款有界状态模型中,参数规模最大的达到14B,AIME 2024-2026三届平均成绩最高为18.8%。而岩芯矩阵本次开源的EdgeRock 则以仅 4B 的参数规模,在恒定显存下取得 82.9% 的成绩,达到上述模型最高分的 4.4 倍。

难的不是固定内存,而是固定之后还记得住。

为此,岩芯矩阵原创了记忆岩锚(Rock Memory Anchors,RMA)。它的设计取意于岩锚:将推理所需的关键信息固定下来。

世界状态把历史分成三部分:循环状态抓大意,局部窗口管眼前,RMA的锚点库记关键。哪些细节值得长期保留,由模型自己学会判断;每处理256个token取舍一次,只留下得分最高的锚点。



每个锚点都标有来源位置,模型记住了什么,可以直接查看。

EdgeRock正是首个落地世界状态的模型系列。首个开源模型EdgeRock-4B由岩芯矩阵联合港科大、 CMU等完成, 支持文本与图像推理。



KV Cache砍掉99.1%的同时, EdgeRock-4B的推理能力与内存随推理增长的领先小模型处于同一水平,单卡长推理吞吐也提升到来源模型的6.42倍。

这份推理能力从哪来?推理时把RMA全部关掉,长上下文上的远距离查询正确率会从94.1%跌到0.4%。撑起推理的,正是锚点。

第二步DiffusionRock:一次生成一整块

拆掉了记忆墙,还有串行墙。

DiffusionRock不再一个token接一个token地往外写,而是一次提出一整块内容:一段代码、一组工具调用, 或者一段动作 。随后用少量几轮去噪, 集中修正不确定的位置, 简单的块还可以提前停止。



修正的轮数少于块长,串行步数就少于token数,原本闲着的算力也用上了。

与现有扩散模型不同,DiffusionRock以世界状态为条件:任务再长,每一轮去噪要读取的历史量都不变。

目前,DiffusionRock的推理速度已达到每秒1,500 token。下一步,模型与推理代码也将开源。

第三步SiliconRock:把模型完全固化进芯片

最后,也是最硬核的一步:拆掉搬运墙。

SiliconRock的回答是彻底不搬运。

4位权重和缩放系数被直接做成固定的计算路径 。权重不再是需要读取的数据,而是电路本身,生成时一个字节也不必搬运。

又因为世界状态的容量在设计时就已确定,每一层都可以把自己的状态放进就近的片上存储。在原型中,每层配有1 MiB的状态存储,而且不随上下文增长。



这样一来, 解码路径上只剩下必要的计算。就连词表输出这一步也做了就地筛选,每个token跨片传输的数据从472,576字节降到7,424字节, 减少了64倍。

百万token/s,意味着每个token只有1微秒,在1GHz时钟下大约是1,000个周期。按架构建模, SiliconRock每个token需要884个周期, 相当于每秒约113万token。

目前,SiliconRock已经在宏级原型上跑通了从模型设计到芯片版图的完整流程,完成关键电路布线,并通过固定权重计算的相关验证。

把模型做进芯片,并不是没人想过。

Taalas已经把Llama 3.1 8B固化进芯片,单用户速度约每秒1.7万token,证明了模型专用芯片的速度潜力。但它固化的是现成的全注意力模型,KV状态仍随上下文增长,搬运只去掉了一半。

岩芯矩阵则先改模型、再固化,权重和状态两项搬运都被去掉。这就是 “存算联动”:模型决定保存什么,芯片决定如何高效完成。

固化也不等于僵化。主权重和主计算图固化在芯片里,LoRA、行业词表、动作域校准和安全阈值则留在可更新的外壳中,行业适配仍然可以持续进行。

04

三条产品线,同一个模型

三条线分工不同,指向的却是同一个终点:一个全模态 、any-to-any的世界状态模型, 既能理解, 也能生成。

以英伟达的世界模型Cosmos 3为例。它的理解部分是自回归的,生成部分是扩散的,而生成部分每一步都要读取理解部分的全部历史。



岩芯矩阵的三处改造恰好一一对应:理解部分改造成EdgeRock的世界状态,生成部分交给DiffusionRock整块生成;状态与权重都固定之后,再由SiliconRock把整个模型做进芯片。

05

快起来之后,能做什么?

Agent:和前沿大模型混合加速。

Agent的大部分token, 花在写代码、调用工具、执行子任务、 反复检查和修正这些高频生成上;前沿大模型擅长的规划和关键判断, 只占其中一小部分。



分工因此很自然:前沿模型负责规划、关键判断和最终校验,岩芯矩阵的快模型承担大量高频生成。恒定内存还让Agent的历史内存不再随工具调用次数增长。

物理世界:赶上控制窗口。

机器人、车载和工业设备都按固定的控制窗口工作, 结果必须在窗口内返回,模型才能参与本轮动作。恒定内存让感知与推理能在同一个循环里一直跑下去, 高速生成则让候选动作和轨迹更早返回。

部署:从端侧到数据中心。

数据中心承接长推理和Agent,区域边缘让企业和园区共享推理能力,端侧则在隐私、弱网和现场响应的场景中本地运行;SiliconRock服务其中调用量大、形态稳定的负载。



无论部署在哪里,每条请求要多少内存,推理开始前就能算清楚。

路线图



三条产品线,指向同一个目标:Ultra-Fast Token。

强推理,不需要一份随每个token增长的记忆。

岩芯矩阵的路线,可以概括成一句话 :先让记忆不再增长,再把这份确定性一路转化为速度。

EdgeRock让吞吐提升到数倍,DiffusionRock让生成整块完成,SiliconRock让单用户每秒百万token成为设计目标。

这就是Ultra-Fast Token:强,而且快。

EdgeRock-4B已开源:

GitHub:

https://github.com/rockmatrix-ai/EdgeRock

Hugging Face:

https://huggingface.co/rockmatrix-ai/EdgeRock

官网链接:

www.rockmatrix.ai

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海道路停车场15分钟内免费,工作日一天2次免费!路边买咖啡更从容,的哥:不敢相信,新政太好了

上海道路停车场15分钟内免费,工作日一天2次免费!路边买咖啡更从容,的哥:不敢相信,新政太好了

新闻晨报随申Hi
2026-11-19 17:46:05
“年轻人往里面一排队,周围都是异样的眼神”

“年轻人往里面一排队,周围都是异样的眼神”

中国新闻周刊
2026-11-19 23:55:05
风向变了?明年起,按摩、洗浴、足疗店或将迎来重大变化?

风向变了?明年起,按摩、洗浴、足疗店或将迎来重大变化?

史之铭
2026-11-19 01:44:05
普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

奇闻不要看
2026-11-20 10:13:18
各国不吃的食物:韩国人不吃香菜,俄罗斯人不吃海参,中国人呢?

各国不吃的食物:韩国人不吃香菜,俄罗斯人不吃海参,中国人呢?

兴趣知识
2026-11-20 01:31:36
1936 年,孙铭九亲手活捉蒋介石,新中国成立后,最终经过慎重考虑,给他安排了工作,他到底得到了一份什么工作

1936 年,孙铭九亲手活捉蒋介石,新中国成立后,最终经过慎重考虑,给他安排了工作,他到底得到了一份什么工作

磊子讲史
2026-11-19 20:13:36
一地鸡毛!东莞横沥车主和村委因违停胶纸起纠纷,有人对比深圳管理,“支持拖车”成舆论焦点

一地鸡毛!东莞横沥车主和村委因违停胶纸起纠纷,有人对比深圳管理,“支持拖车”成舆论焦点

火山詩话
2026-11-20 09:24:34
中国养老市场正打开“潘多拉盒子”!大批退休老人正叛变传统模式

中国养老市场正打开“潘多拉盒子”!大批退休老人正叛变传统模式

娱乐洞察点点
2026-11-20 06:52:03
限制已解除,日本政府身份变了,高市早苗出席晚宴,请帖发往韩国

限制已解除,日本政府身份变了,高市早苗出席晚宴,请帖发往韩国

影孖看世界
2026-11-19 23:48:44
5-3,5-3,5-3,4-5,德国赛8席出炉 丁俊晖逆转 中国拿下3席

5-3,5-3,5-3,4-5,德国赛8席出炉 丁俊晖逆转 中国拿下3席

林子说事
2026-11-19 13:07:32
外务省生气了!哈哈哈哈哈哈哈

外务省生气了!哈哈哈哈哈哈哈

这里是东京
2026-11-19 21:23:30
20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

20+6三分+0失误!谢泼德觉醒一战防守也被盛赞:休城需要贝弗利精神

颜小白的篮球梦
2026-11-19 21:58:12
俄媒:美支持乌具备对俄实施“中程”打击能力

俄媒:美支持乌具备对俄实施“中程”打击能力

参考消息
2026-11-18 14:38:27
到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

凡知
2026-11-19 10:52:17
别人问你退休金,记住一条铁律:先别报数,先说这 1 句

别人问你退休金,记住一条铁律:先别报数,先说这 1 句

普陀动物世界
2026-11-18 05:34:36
利润大跌60%,曾经国民零食第一股,快被街边量贩店干懵了

利润大跌60%,曾经国民零食第一股,快被街边量贩店干懵了

李砍柴
2026-11-19 21:49:58
越南领导人很焦虑:和中国一比较才发现,原来我们落后了这么多

越南领导人很焦虑:和中国一比较才发现,原来我们落后了这么多

一簌月光
2026-09-12 08:27:02
李在明发文:感谢中国

李在明发文:感谢中国

极目新闻
2026-11-19 22:50:01
ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

ESPN爆料詹姆斯向76人教练组提出要求,遭詹姆斯社媒直接开怼

夜白侃球
2026-11-19 19:40:55
彻底破防!深圳这场盛会火遍全网,宝岛网友看呆:中国家底真的藏不住了!真的太感慨了!

彻底破防!深圳这场盛会火遍全网,宝岛网友看呆:中国家底真的藏不住了!真的太感慨了!

魔都姐姐杂谈
2026-11-19 08:55:34
2026-11-20 11:28:49
第四波
第四波
深度科技资讯,产业一线报告
193文章数 4关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

头条要闻

高考522分大学生学冷门专业被指"月薪6位数" 本人回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

时尚
数码
房产
教育
军事航空

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

数码要闻

消费级显卡史上最大显存容量 摩尔线程“庐山”官宣:光追暴涨50倍

房产要闻

2.5亿!丁村侨中,新动作来了!

教育要闻

没有条件,创造条件也要上

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版