网易首页 > 网易号 > 正文 申请入驻

首发计算运维智能体,华为CCAE为万卡集群点灯

0
分享至

一座城市的规模,决定了它需要什么样的守夜方式。

小城镇的夜里,一个打更人提着灯笼走一遍街巷,遇到什么处理什么,靠的是脚力和经验。等这座镇子长成了大都市,街道从几条变成几千条,人口从几百变成几百万,一个打更人就算跑断了腿,也巡不完一个零头。他得有地图、路灯,最好还能有人帮他把该处理的麻烦先处理掉。

算力集群正在经历这样的膨胀。而这座城市的守夜人——运维团队,正面临着前所未有的压力。

过去三年,万卡规模的AI训练集群还是行业天花板,今天万卡已经不是新闻。一个万亿参数的大模型需要数万张加速卡,模型参数再往上走,算力需求跨入十万卡量级,光模块数量突破百万,相当于一座中等城市所有路灯的总数,要做到每一盏都实时可控、故障秒级响应。



旧的守夜方式走到了头,新的方式正在敲门。今年9月,华为全联接大会发布了业界首个计算运维智能体算小维,集群数字地图同步升级到2.0。

这套组合拳要回答的,正是那个越来越紧迫的问题:万卡之城,到底该怎么守夜?



2024年初,中国一天消耗的token大约是1000亿。到2026年,这个数字变成了140万亿。两年,一千倍。

中国信通院的数据显示,截至2026年6月底,我国智能算力规模已达2185EFLOPS。同时,投运的标准机架超过1373万架,已建成42个万卡级智算集群。

只看这条曲线,你会以为这是一个关于“更多”的故事:更多的卡、更多的机架、更多的电。但只要把镜头从曲线拉回机房,规模膨胀带来的直接挑战是运维复杂度的指数级上升。

算力不是跑起来就行,真正的挑战是算力利用率和可靠性。一座集群建成投运,只是算力价值的起点。它能不能持续输出、能不能稳定输出、能不能高效输出,才是决定这笔投资回报的关键。

不过,当集群规模从千卡迈向万卡,运维的难度也指数级翻倍。一个1024卡的超节点会生成8万多个数字对象,对应千万级监控指标。打更人的灯笼照得再勤,也照不全这座城的每一个角落。

并且,有些“火情”不是靠肉眼能看见的。光模块脏污松动、器件老化等隐性问题不会直接报警,却可能在训练任务跑到关键节点时突然发作。

同时,业务侧对算力基础设施的可靠性要求达到了前所未有的高度。金融推理场景,千卡集群的服务可靠性需要达到99.95%,意味着全年可控业务中断时长不能超过4.4小时;万卡训练场景里,集群每停一天,就是数百万乃至上千万的算力成本蒸发。守夜人打一个盹,代价可能是整座城市停摆。

告警看不完、隐患看不见、故障等不起……产业发展到这一步,靠人巡夜的时代显然已经翻篇了。新守夜人该长什么样?



万卡之城需要怎样的守夜人?

我们或许能从华为CCAE最新成果计算运维智能体算小维一窥究竟。

而要理解智能体对运维意味着什么,不妨先回顾一下计算运维的演进脉络。

最早的运维是人肉时代,工程师登录服务器,逐条命令排查。随后进入自动化时代,监控、告警、脚本批量执行,工具链不断完善,但决策依然依赖人。而智能体的出现就是为了解放人工巡检。

简单来说,智能体是具备感知、决策、执行能力的智能运维工程师。华为CCAE计算运维智能体算小维有两个核心能力。第一是故障诊断,沉淀了1400多种故障模式,依托华为CCAE在全球海量运维场景中持续积累和迭代。第二层是智慧节能,系统可实时感知整机设备运行状态、业务负载潮汐与空闲时段,通过动态调频、智能负载调度、硬件精细化降频等策略,在不影响AI训推业务性能的前提下,实现集群空闲态能耗降低10%。



以故障分析为例,在算力集群的故障排行榜上,光链路脏污长期占据榜首。万卡集群里,一根光链路闪断,可能引发连锁反应:同一链路在3秒内上报3条LINK DOWN,再加上30条IPv6链路状态改变等衍生告警。传统模式下,运维人员需要逐条查告警、查性能、查连接,在6个页面之间来回切换,大约需要1小时才能判断出是光模块收光功率异常和链路劣化,而且准确率只有70%左右。

而智能体算小维接手后,这一过程被压缩到分钟级,准确率也大幅提升,它不再需要人在告警海洋里“捞针”,而是直接给出根因判断和修复建议。

这种能力的背后是华为CCAE在数据与经验上的长期积累。具体来看,华为CCAE首发的计算运维智能体,对各代际新设备同步建模,逆向从7000多个现网真实故障案例中总结规律,形成故障分类诊断Skills的专业know-how。不同skills按照类别划分,按照类别覆盖场景,覆盖率可以达到95%以上。

从人转移到工具,再从工具转移到智能体……万卡之城的守夜人从一群熬红了眼的工程师变成一套能感知、能思考、能行动的智能系统。技术最大程度地解放了人,但只有巡逻的智能体,真的能为万卡集群保驾护航吗?



万卡集群之所以难以维护,不仅在于数量多,更在于链路复杂、故障传播快、根因藏得深。

一个万卡规模的集群内部交织着数万条高速链路、数十万个光模块、成千上万个交换节点。一个光模块的收光功率轻微劣化就会引发链路闪断、RDMA重传等连锁反应。守夜人需要一张足够精细、足够实时、足够可交互的“底图”来支撑。

华为CCAE同步升级的集群数字地图2.0要解决的就是这个问题。

它的本质是将物理集群一比一映射为运维系统内的逻辑对象。大到数万卡规模的集群对象,小到单颗NPU的UDIE端口,全部完成数字化建模。



同时,集群所有连接也完成了建模,NPU/CPU等计算单元通过灵衢总线互联,互联包括POD内的电互联和POD间的光互联。这意味着,每一颗芯片的实时状态都会被监控,哪个器件、哪条链路异常,在数字地图上就可以快速定位。

这就像给一座城市画了一张实时更新的巡检地图。以前运维人员面对的是一排排机柜、一根根线缆,只能靠经验和运气去判断哪里出了问题。现在,每一盏路灯都有了坐标,每一条线路都有了标签,运维人员拥有了全局的、实时的、可交互的视野。

进一步看,数字地图和智能体算小维之间形成了一种眼睛与大脑的配合关系:数字地图负责“看见”,把物理世界的复杂状态翻译成数字世界可计算、可推理的结构化信息;智能体算小维负责判断,在这张地图上做根因分析、做决策、做执行。

没有地图,智能体就是盲人摸象;没有智能体,地图就只是一张好看的静态图纸。两者结合,才让万卡之城的守夜从人海战术真正走向系统化的智能运维。

但是,这张地图将会供谁使用?它照亮的是一座算力小镇还是千家万户的算力城池?



一座城的安全,不能只靠一个守夜人。

华为CCAE计算运维智能体算小维的意义不仅在于交出了一份技术答卷,更在于划出了一条产业分界线。在此之前,智能运维是单点工具的比拼。算小维发布之后,竞争将走向体系化能力和生态格局。而服务的集群越多,见过的故障越丰富,智能体就越智能。

换句话说,运维就像算力价值的放大器。同样的卡,同样的电,运维水平差一个档次,产出可能差出一大截。一次非计划停机带来的损失,可能远超一年的运维投入;而一次成功的隐患预判,省下的可能是整批训练任务的宝贵时间。

从芯片到集群、从硬件到软件的全栈运维经验,加上每年在集群自智引擎上超过亿元的研发投入,华为CCAE搭建了一道很难被短期复制的护城河。

经过全球海量复杂场景实战验证,华为CCAE目前已服务全球超350个AI集群,万卡级AI训练集群可用度达98.5%。可用度从98%提升到98.5%看起来只是0.5个百分点,对于一个年产值数亿的集群来说却意味着数百万的增量收益。

不过,华为CCAE并没有选择把这些能力攥在手里。在计算管理软件分论坛《集群运维智能体,智启运维新时代》上,华为计算管理软件产品线总裁鲁驰提出,明年将逐步参与行业标准建设。智能运维还处在早期,行业缺乏统一的技术规范和评估体系。标准的建立意味着产业从各自为战走向协同进化,最终受益的是整个算力生态。

回过头看,守夜的方式一直在变。小城镇的夜靠一个打更人的脚力和经验;大都市的夜靠地图、路灯和一套自动运转的巡夜系统。万卡之城的守夜人则正在从人变成一群智能体,靠的是一整套能被复制、被共享、被共建的守夜体系。

华为CCAE升级后,数字地图把城照亮,智能体替人巡夜,技能库把经验传下去,开放生态让更多城能跟着亮起来。



一盏灯照着一条街,万盏灯亮着一座城。当所有的城都亮起来的时候,才算真正走进了智能运维的时代。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《笑傲江湖2》重映遭删减,跟民族问题有关?

《笑傲江湖2》重映遭删减,跟民族问题有关?

胡影
2026-10-27 17:04:24
不到24小时娱圈又传2大噩耗,46岁演员离世,赵明令人意外

不到24小时娱圈又传2大噩耗,46岁演员离世,赵明令人意外

翰飞观事
2026-10-28 11:41:10
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
永远不要低估小汽车对普通人的影响力。

永远不要低估小汽车对普通人的影响力。

老陆不老
2026-10-27 21:24:41
提醒大家:微信聊天最好不要发语音,我也是刚知道,看完涨知识了!

提醒大家:微信聊天最好不要发语音,我也是刚知道,看完涨知识了!

谈古论今历史有道
2026-10-27 22:10:07
石头科技拒解约:皇马傲慢背后的市场误判与品牌风险

石头科技拒解约:皇马傲慢背后的市场误判与品牌风险

带你逛体坛
2026-10-28 11:15:26
歼20隐身突袭美军航母编队,遭4架F35、2架F22拦截【空战模拟】

歼20隐身突袭美军航母编队,遭4架F35、2架F22拦截【空战模拟】

军武咖
2026-10-27 12:31:37
再见了康辉,再见了李梓萌,再见了朱迅,央视主持迎来大洗牌!

再见了康辉,再见了李梓萌,再见了朱迅,央视主持迎来大洗牌!

杰丝聊古今
2026-10-28 12:43:12
宏远速递!徐杰回东莞努力加训,徐昕归家心切,周鹏发声鼓励球队

宏远速递!徐杰回东莞努力加训,徐昕归家心切,周鹏发声鼓励球队

多特体育说
2026-10-28 21:16:52
幼年朱珠,和爷爷朱虚之相处的画面

幼年朱珠,和爷爷朱虚之相处的画面

娱你同欢
2026-10-23 21:03:19
真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

魔都姐姐杂谈
2025-07-28 14:35:36
24小时局势大反转!中国都没想到,西边塌了,东边给了个大惊喜

24小时局势大反转!中国都没想到,西边塌了,东边给了个大惊喜

云上乌托邦
2026-10-27 13:06:39
泽连斯基称俄军对乌克兰基础设施袭击“严重升级”打击目标为乌能源设施、物流设施和城市基础设施

泽连斯基称俄军对乌克兰基础设施袭击“严重升级”打击目标为乌能源设施、物流设施和城市基础设施

每日经济新闻
2026-10-28 21:43:17
重磅:乌克兰摧毁俄最大的图拉化工厂!距莫斯科仅两百公里

重磅:乌克兰摧毁俄最大的图拉化工厂!距莫斯科仅两百公里

项鹏飞
2026-10-28 19:12:27
首批“新能源汽车”开始换电池了,看到价格,车主都不说话了

首批“新能源汽车”开始换电池了,看到价格,车主都不说话了

沙雕小琳琳
2026-10-28 19:17:12
iPhone Duo七年等来一场吐槽大会

iPhone Duo七年等来一场吐槽大会

字母榜
2026-10-28 14:42:40
马斯克:人类在ASI面前是黑猩猩,未来所有钱和工作都将清零!

马斯克:人类在ASI面前是黑猩猩,未来所有钱和工作都将清零!

新智元
2026-10-26 12:45:44
吴千语33岁生日通宵直播到凌晨,收工进门被满屋鲜花惊到眼眶含泪

吴千语33岁生日通宵直播到凌晨,收工进门被满屋鲜花惊到眼眶含泪

陈意小可爱
2026-10-28 05:48:10
突发!姆巴佩滑跪道歉,皇马也道歉了!

突发!姆巴佩滑跪道歉,皇马也道歉了!

财经要参
2026-10-28 23:20:21
055大驱在全球属于什么水平?这么说吧,有16艘055的时候,地球上没有国家想跟中国打一次

055大驱在全球属于什么水平?这么说吧,有16艘055的时候,地球上没有国家想跟中国打一次

扶苏聊历史
2026-10-23 11:19:09
2026-10-29 00:07:00
脑极体 incentive-icons
脑极体
从智能密钥到已知尽头
3840文章数 167637关注度
往期回顾 全部

科技要闻

宇树科技前三季净利暴增270%

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

头条要闻

演员董勇车险续保被卡维权 吐槽太平洋保险"店大欺客"

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

首销期权益价23.98万起 2026款理想i6上市

态度原创

艺术
健康
时尚
游戏
军事航空

艺术要闻

16幅 美国当代画家 丹尼尔·格哈茨油画选

查不出猝死风险?可能是项目没做对

10位顶流男明星比惨,给我惹哭了

LPL一号种子16强出局,AL经理爱笑换掉Hope背景,转会期真要大变天?

军事要闻

伊朗最高领袖最新声明 提到了“结束战争”

无障碍浏览 进入关怀版