拿下近半市场，中国AI新云的国产异构之路

一根杠杆撬动国产算力，中国新云的新打法。

文｜赵艳秋

编｜牛慧

国内AI算力建设仍在高峰期。国家数据局披露，截至今年6月，全国智算中心超过500个，在建及规划项目近400个，智算规模达2185 EFLOPS，同比增长177%。据数智前线不完全统计，2026年前7个月，国内公开招投标市场至少有158个中标金额超过亿元的算力项目。

需求增长同样迅猛。中国信通院数据显示，今年一季度，国内AI算力需求同比增长417%，供给增长128%。Agent兴起后，一项任务可能触发数十次甚至更多模型调用，Token消耗迅速增加，2026年以来国内大模型服务归一化均价接近翻倍。

这本是一个供需两旺的市场。但另一组数据显示，2025年国内智算供应量约38亿卡时，实际使用量仅约14亿卡时，使用率约36.8%。一边Token供不应求，一边六成以上的算力没有用起来。

问题出在多方面：高端算力确实不够，已有的卡又没能被有效组织起来。有院士告诉数智前线，国产芯片技术路线多元，软件生态相互割裂，十几种加速卡叠加数十个主流模型，适配工作呈“组合爆炸”；芯片、网络、框架、模型又各管一段，没有围绕真实负载协同优化，整个系统也就难以高效运行。而客户要的，是响应快、运行稳、成本可控的AI服务。

行业正在调转方向。中国信通院何宝宏在9月的2026中国算力大会上表示，算力竞争正从“比规模”转向“比质效、比协同、比服务能力”。招投标市场也给出了信号：建设与运维捆绑招标的EPCO模式加速普及，“建完就走”已经行不通了。

在这样的市场中，专门围绕AI需求建设基础设施的Neocloud（新云）迎来了机会。海外Neocloud最初主要从GPU算力租赁起步，中国厂商还要面对高端芯片受限、国产算力多元分散的现实。拥有多少GPU固然重要，但能否把不同芯片组织起来，以合理的成本，稳定地供出Token和AI服务，越来越影响这门生意的成败。

01

中国Neocloud，为何走出不同的路？

“Neocloud”一词最早出现于2024年。当年，美国市场机构SemiAnalysis发文，把一批专门出租GPU算力的新型云服务商称为“AI Neocloud”，与亚马逊、微软、谷歌这些业务庞杂的云大厂区分开来。CoreWeave、Nebius等公司由此走到台前。

此后两年，大模型公司、互联网巨头不断采购算力，这类新兴云厂商迅速壮大。今年二季度，CoreWeave营收达25.8亿美元，同比增长逾一倍。市场机构Synergy预计，全球Neocloud年营收将从2025年的超过250亿美元，增长至2031年的近4000亿美元

为什么AI一兴起，Neocloud就跟着起来了？GPU供不应求是一方面，更重要的是，大模型需要的云与过去不同。传统云主要服务网站、数据库和企业IT系统；大模型训练则动辄需要数万张GPU高效协同，推理对并发、延迟、显存和网络提出了更高要求。Neocloud专为AI而建，往往能以更快的交付和更高的性价比，拿下订单。

这股浪潮同样在中国涌动。沙利文在《中国全栈AI云服务市场报告2026H1》中，把全栈AI云厂商分为两类：一类是综合云厂商；另一类是从成立之初就与AI深度绑定的Neocloud。报告显示，商汤大装置以近50%的份额位居中国Neocloud市场第一

商汤大装置产品总经理卢国强告诉数智前线，两类厂商的差别，“大厂是‘云+AI’，先有云的架构，再把AI能力加上去；Neocloud是‘AI+云’，所有基础设施都围绕AI来建。”

同时，虽然名字一样，但中外Neocloud走的是两条不同的路

他们起点不同。海外CoreWeave原本就握有大量GPU，AI浪潮让这些卡有了新用途；商汤则早在ChatGPT出现之前，就为计算机视觉等AI研发部署了大规模算力，大装置最初是为满足自身研发需要而建。

算力底座也不同。海外Neocloud大多建立在单一的高端GPU生态上，拿到卡、建好机房、租出去，是他们的生意主线。中国Neocloud面对的则是高端芯片受限、多种国产芯片并存的局面，能否把不同芯片组织到一起用好，是核心能力。

两者卖的东西也不同。海外Neocloud的收入大头，来自与微软、OpenAI等巨头签下的长期算力合同，CoreWeave的在手订单已超过千亿美元；直到今年，Nebius等公司才通过收购补充推理和Agent能力。中国市场则更早走到了推理和Token这一步。

商汤大装置的愿景是提供“大规模、低成本、零门槛”的 AI 基础设施。2022年，上海临港AIDC投入运营，商汤将服务内部研发的能力逐步云化对外，并于同年9月上线SenseCore平台。“面对外部客户，产品、运维和服务都必须标准化。”卢国强说。2024年，商汤推动SenseCore 2.0架构，开放更多底层API，这一步原本是让开发者能更灵活地调用平台能力，事后看，“也让平台提前适配了Agent的调用方式”。

今年Agent兴起，Token需求爆发，推动商汤大装置从帮助客户训练、部署模型，走向规模化Token生产与服务。其日均Token服务量从年初约4000亿增长到目前的6万亿，预计四季度将达日均10万亿。在Token这条赛道上，中国Neocloud反而跑在了前面。

综合云厂商也在加速布局Token业务，但基础设施改造需要时间。商汤大装置CTO宣善明介绍，商汤从今年四五月起就规模化供给头部模型厂商。

先发之外，商汤大装置还有两个支点。

一是端到端的系统能力。商汤大装置的架构是通过自建的智算中心向下连接电力、储能和算电协同，中间通过IaaS层纳管和调度多元异构算力，向上提供算力、模型服务、Token和行业解决方案。“大装置要像提供水电一样提供AI能力”。

二是国产化能力。商汤大装置当前的两个战略重点，一是Token，二是国产化。宣善明介绍，商汤从2018年前后就持续探索国产芯片适配，对几乎所有主流国产芯片都保持投入，“每一种芯片不一定买很多，但一定要摸清它的优劣势”，一旦看准应用场景，就坚定地大规模投入。在他看来，今年行业最大的问题，是高质量Token与算力之间的错配。商汤大装置要让国产算力，也能产出高质量的AI能力。

在高端芯片受限、国产算力多元且分散的中国市场，关键是把不同芯片适配好、调度好，变成客户用得起的AI能力。前提是吃透每一种国产芯片的长短板。

02

让国产算力生产高质量Token

国产芯片的装机量增长很快。IDC数据显示，2025年中国AI加速卡出货约400万张，国产厂商占比已达41%。但应用情况并不乐观。

“很多人拿到了国产GPU，却不知道怎么用。”宣善明对数智前线说。

问题主要卡在软件上。中国工程院院士郑纬民认为，国产AI芯片即便只有国际领先产品约60%的性能，只要软件生态完善，客户仍然愿意用。许多模型基于海外生态开发，迁移时，深度优化动辄需要几十人的团队，适配工作量按“模型×芯片×场景”成倍增加。

这笔投入很少有人愿意长期承担。有报道称，某智算园区的国产异构算力池全年平均利用率不到两成，不同厂商的芯片无法统一调度，客户迁移模型还要逐一适配驱动和算子库。

针对这些问题，商汤大装置的思路，是从客户需求倒推适配。宣善明说，商汤先想清楚服务哪些客户、要做到什么质量，再与芯片厂商一起把具体模型调好，不要求芯片样样都行。在他看来，“国产芯片不必在所有指标上追平高端GPU”，在某一项任务上把长处发挥出来就够了

PD分离就是这样一项任务。大模型推理分两步：Prefill（预填充）像读题，一次性处理用户输入，主要靠算力；Decode（解码）像答题，逐字生成输出，主要受显存带宽和通信限制。市场上多数PD分离方案还是用同一种芯片，商汤则让计算性价比高的国产芯片做Prefill，带宽更高的高端GPU做Decode。宣善明把这比作“杠杆”——加入国产芯片分担计算后，一份高端算力有可能撬动两三倍的Token产出

真正费功夫的是工程。商汤大装置已适配20多种国产AI芯片，团队一直在做测试，弄清每种芯片的长短板，以及哪些短板在特定场景下其实不碍事。在目前的一类推理负载中，约99%的请求由国产芯片做Prefill，极长上下文的请求交给高端GPU，后者同时作为热备随时补位；同一个资源池里，还混用着多家厂商的国产机器。

网络同样关键。商汤大装置TokenHub总监周明骏回忆，有段时间，集群交换机一度频繁报警，排查发现是多个节点同时向同一目标传输KV Cache，瞬间挤爆了网络。团队此后总结出三条原则：尽量少传，多用缓存；升级新一代高速无损网络，传得快；流量治理和传输优化，传得稳。

“这些问题，只有真的做到大规模，才会发现。”宣善明说。

投入开始见到回报。商汤科技联合创始人、大装置事业群总裁杨帆在WAIC 2026上披露，依托异构混合推理，主流国产芯片的MFU（模型算力利用率）提升了85%至152%；与国产同构方案相比，同样成本下的Token产出规模扩大2.5倍，“远超行业此前对国产算力微利持平的预期”。

商汤还在验证跨域PD分离，让一地闲置的国产算力做Prefill、另一地的高端芯片做Decode，让地方智算中心的存量设备也参与Token生产。中国工程院院士邬贺铨在2026中国算力大会上也提出，可以通过跨地区拆分任务，充分利用各地算力。

杨帆判断，国产AI基础设施规模化商用的窗口期已全面到来。宣善明表示，今后会把更多精力和资源放在国产芯片和生态上，明年更高性能的国产算力到位后，商汤会和合作伙伴做更大规模的合作。

03

端到端，是要算好每环节细账

把国产芯片用起来，解决了算力从哪里来的问题。但另一个问题随之而来：AI数据中心的账，正变得越来越难算。

9月底，贝恩咨询预测，到2031年，全球AI产业每年需要创造约6万亿美元收入，才足以支撑巨额基础设施投资，而现有消费级与企业AI应用预计只能贡献1.2万亿至1.8万亿美元。

收入尚不确定，成本却在不断变化：一张GPU究竟能用几年，业界争论不休；算力租金也随供需大幅波动。在国内，《经济日报》报道，算力成本占部分算力租赁企业运营支出的七八成；有上市企业负责人说，Token工厂竞争激烈，根源是Token售价与算力采购成本之间的价差太小。

宣善明用“房地产逻辑”形容过去的算力租赁：买进设备、租出资源，按月回收投资。如今，同样一批设备，可能赚钱，也可能亏损。追求效率是确定的方向，单纯依靠规模，“现在肯定不太好使了”。

账要算得过来，需要算清每一个环节。宣善明认为，推理基础设施的优化要回到两个核心指标：一是服务质量，即能否满足约定的响应速度、生成效率、并发能力和调用成功率；二是成本，即在满足服务质量的前提下，单位投入能产出多少有效Token。商汤大装置的端到端，就是用这把尺子，去衡量从电网到客户的各个环节。

链条的起点是电力。WAIC 2026期间，商汤发布算电协同Agent，通过电价预测、储能调度和负载优化，把算力生产与电力成本联系起来。据商汤披露，在临港AIDC，单位电力成本的Token产出提升80%，平均电费单价较同地区IDC低约10%。商汤还提出TPW（每瓦Token）指标，衡量每度电产出了多少有效Token。

往上是智算中心本身。商汤自建自持的临港AIDC，是国内首个5A级智算中心。打个比方：如果只出租机柜，就相当于只出租房子；商汤是从机房做到平台和服务，整套体系都按AI的需求来建。

再往上是IaaS层。SenseCore平台负责人陈希说，纳管不只是能调度、能监控，还要在不同芯片之间建立高性能互联。更难的是稳定性，“把集群跑起来是一回事，能一直跑下去是另一回事”。其中最棘手的是“慢节点”：个别节点悄悄变慢，而大模型训练每一步都要等所有节点算完，整个集群都会被拖累，它还不报错。团队通过流量特征和高精度监控自动定位问题节点，出现故障时自动替换备机、重新拉起任务，让大规模集群做到无人值守。

最终，这些能力以算力、Token和行业解决方案等形态交付给客户。在Token上，宣善明把服务分为“批发”与“零售”，商汤选择直接服务模型原厂。原厂的需求集中、持续，能让上千台机器得到充分利用，各层的效率优化才能真正转化为收益。今年以来，商汤大装置的Token客户已从一家头部模型厂商扩展到多家，并开始吸引大型企业客户。在行业侧，商汤大装置则通过FDE模式，依托已沉淀的AI中台，帮助客户快速完成原型并逐步迭代交付。

杨帆表示，商汤大装置以贯穿多年的端到端能力为基础，目标是让国产软硬件体系更快地完成规模化、可盈利的市场化闭环。在他看来，国产化不是单一芯片的替代，而是芯片、零部件、基础设施与应用场景的全链条协同。

从争夺高端GPU，到让不同性能的算力各尽其用；从出租计算资源，到像水电煤一样提供稳定可用的AI能力，中国Neocloud正在探索一条不同于单纯扩张算力规模的发展道路。