网易首页 > 网易号 > 正文 申请入驻

首发计算运维智能体,华为CCAE为万卡集群点灯

0
分享至

一座城市的规模,决定了它需要什么样的守夜方式。

小城镇的夜里,一个打更人提着灯笼走一遍街巷,遇到什么处理什么,靠的是脚力和经验。等这座镇子长成了大都市,街道从几条变成几千条,人口从几百变成几百万,一个打更人就算跑断了腿,也巡不完一个零头。他得有地图、路灯,最好还能有人帮他把该处理的麻烦先处理掉。

算力集群正在经历这样的膨胀。而这座城市的守夜人——运维团队,正面临着前所未有的压力。

过去三年,万卡规模的AI训练集群还是行业天花板,今天万卡已经不是新闻。一个万亿参数的大模型需要数万张加速卡,模型参数再往上走,算力需求跨入十万卡量级,光模块数量突破百万,相当于一座中等城市所有路灯的总数,要做到每一盏都实时可控、故障秒级响应。



旧的守夜方式走到了头,新的方式正在敲门。今年9月,华为全联接大会发布了业界首个计算运维智能体算小维,集群数字地图同步升级到2.0。

这套组合拳要回答的,正是那个越来越紧迫的问题:万卡之城,到底该怎么守夜?



2024年初,中国一天消耗的token大约是1000亿。到2026年,这个数字变成了140万亿。两年,一千倍。

中国信通院的数据显示,截至2026年6月底,我国智能算力规模已达2185EFLOPS。同时,投运的标准机架超过1373万架,已建成42个万卡级智算集群。

只看这条曲线,你会以为这是一个关于“更多”的故事:更多的卡、更多的机架、更多的电。但只要把镜头从曲线拉回机房,规模膨胀带来的直接挑战是运维复杂度的指数级上升。

算力不是跑起来就行,真正的挑战是算力利用率和可靠性。一座集群建成投运,只是算力价值的起点。它能不能持续输出、能不能稳定输出、能不能高效输出,才是决定这笔投资回报的关键。

不过,当集群规模从千卡迈向万卡,运维的难度也指数级翻倍。一个1024卡的超节点会生成8万多个数字对象,对应千万级监控指标。打更人的灯笼照得再勤,也照不全这座城的每一个角落。

并且,有些“火情”不是靠肉眼能看见的。光模块脏污松动、器件老化等隐性问题不会直接报警,却可能在训练任务跑到关键节点时突然发作。

同时,业务侧对算力基础设施的可靠性要求达到了前所未有的高度。金融推理场景,千卡集群的服务可靠性需要达到99.95%,意味着全年可控业务中断时长不能超过4.4小时;万卡训练场景里,集群每停一天,就是数百万乃至上千万的算力成本蒸发。守夜人打一个盹,代价可能是整座城市停摆。

告警看不完、隐患看不见、故障等不起……产业发展到这一步,靠人巡夜的时代显然已经翻篇了。新守夜人该长什么样?



万卡之城需要怎样的守夜人?

我们或许能从华为CCAE最新成果计算运维智能体算小维一窥究竟。

而要理解智能体对运维意味着什么,不妨先回顾一下计算运维的演进脉络。

最早的运维是人肉时代,工程师登录服务器,逐条命令排查。随后进入自动化时代,监控、告警、脚本批量执行,工具链不断完善,但决策依然依赖人。而智能体的出现就是为了解放人工巡检。

简单来说,智能体是具备感知、决策、执行能力的智能运维工程师。华为CCAE计算运维智能体算小维有两个核心能力。第一是故障诊断,沉淀了1400多种故障模式,依托华为CCAE在全球海量运维场景中持续积累和迭代。第二层是智慧节能,系统可实时感知整机设备运行状态、业务负载潮汐与空闲时段,通过动态调频、智能负载调度、硬件精细化降频等策略,在不影响AI训推业务性能的前提下,实现集群空闲态能耗降低10%。



以故障分析为例,在算力集群的故障排行榜上,光链路脏污长期占据榜首。万卡集群里,一根光链路闪断,可能引发连锁反应:同一链路在3秒内上报3条LINK DOWN,再加上30条IPv6链路状态改变等衍生告警。传统模式下,运维人员需要逐条查告警、查性能、查连接,在6个页面之间来回切换,大约需要1小时才能判断出是光模块收光功率异常和链路劣化,而且准确率只有70%左右。

而智能体算小维接手后,这一过程被压缩到分钟级,准确率也大幅提升,它不再需要人在告警海洋里“捞针”,而是直接给出根因判断和修复建议。

这种能力的背后是华为CCAE在数据与经验上的长期积累。具体来看,华为CCAE首发的计算运维智能体,对各代际新设备同步建模,逆向从7000多个现网真实故障案例中总结规律,形成故障分类诊断Skills的专业know-how。不同skills按照类别划分,按照类别覆盖场景,覆盖率可以达到95%以上。

从人转移到工具,再从工具转移到智能体……万卡之城的守夜人从一群熬红了眼的工程师变成一套能感知、能思考、能行动的智能系统。技术最大程度地解放了人,但只有巡逻的智能体,真的能为万卡集群保驾护航吗?



万卡集群之所以难以维护,不仅在于数量多,更在于链路复杂、故障传播快、根因藏得深。

一个万卡规模的集群内部交织着数万条高速链路、数十万个光模块、成千上万个交换节点。一个光模块的收光功率轻微劣化就会引发链路闪断、RDMA重传等连锁反应。守夜人需要一张足够精细、足够实时、足够可交互的“底图”来支撑。

华为CCAE同步升级的集群数字地图2.0要解决的就是这个问题。

它的本质是将物理集群一比一映射为运维系统内的逻辑对象。大到数万卡规模的集群对象,小到单颗NPU的UDIE端口,全部完成数字化建模。



同时,集群所有连接也完成了建模,NPU/CPU等计算单元通过灵衢总线互联,互联包括POD内的电互联和POD间的光互联。这意味着,每一颗芯片的实时状态都会被监控,哪个器件、哪条链路异常,在数字地图上就可以快速定位。

这就像给一座城市画了一张实时更新的巡检地图。以前运维人员面对的是一排排机柜、一根根线缆,只能靠经验和运气去判断哪里出了问题。现在,每一盏路灯都有了坐标,每一条线路都有了标签,运维人员拥有了全局的、实时的、可交互的视野。

进一步看,数字地图和智能体算小维之间形成了一种眼睛与大脑的配合关系:数字地图负责“看见”,把物理世界的复杂状态翻译成数字世界可计算、可推理的结构化信息;智能体算小维负责判断,在这张地图上做根因分析、做决策、做执行。

没有地图,智能体就是盲人摸象;没有智能体,地图就只是一张好看的静态图纸。两者结合,才让万卡之城的守夜从人海战术真正走向系统化的智能运维。

但是,这张地图将会供谁使用?它照亮的是一座算力小镇还是千家万户的算力城池?



一座城的安全,不能只靠一个守夜人。

华为CCAE计算运维智能体算小维的意义不仅在于交出了一份技术答卷,更在于划出了一条产业分界线。在此之前,智能运维是单点工具的比拼。算小维发布之后,竞争将走向体系化能力和生态格局。而服务的集群越多,见过的故障越丰富,智能体就越智能。

换句话说,运维就像算力价值的放大器。同样的卡,同样的电,运维水平差一个档次,产出可能差出一大截。一次非计划停机带来的损失,可能远超一年的运维投入;而一次成功的隐患预判,省下的可能是整批训练任务的宝贵时间。

从芯片到集群、从硬件到软件的全栈运维经验,加上每年在集群自智引擎上超过亿元的研发投入,华为CCAE搭建了一道很难被短期复制的护城河。

经过全球海量复杂场景实战验证,华为CCAE目前已服务全球超350个AI集群,万卡级AI训练集群可用度达98.5%。可用度从98%提升到98.5%看起来只是0.5个百分点,对于一个年产值数亿的集群来说却意味着数百万的增量收益。

不过,华为CCAE并没有选择把这些能力攥在手里。在计算管理软件分论坛《集群运维智能体,智启运维新时代》上,华为计算管理软件产品线总裁鲁驰提出,明年将逐步参与行业标准建设。智能运维还处在早期,行业缺乏统一的技术规范和评估体系。标准的建立意味着产业从各自为战走向协同进化,最终受益的是整个算力生态。

回过头看,守夜的方式一直在变。小城镇的夜靠一个打更人的脚力和经验;大都市的夜靠地图、路灯和一套自动运转的巡夜系统。万卡之城的守夜人则正在从人变成一群智能体,靠的是一整套能被复制、被共享、被共建的守夜体系。

华为CCAE升级后,数字地图把城照亮,智能体替人巡夜,技能库把经验传下去,开放生态让更多城能跟着亮起来。



一盏灯照着一条街,万盏灯亮着一座城。当所有的城都亮起来的时候,才算真正走进了智能运维的时代。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

一个奇怪现象 : 为何网上失业哀鸿遍野 , 现实中大家都按部就班的工作

青史卷中人
2026-10-03 02:55:17
努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

努尔哈赤有多猛?小他20岁的大妃阿巴亥哭诉:他在就得活在阴影里

凡人侃史
2026-10-14 16:09:36
科技爆发 韩国熔断 A股明天大考

科技爆发 韩国熔断 A股明天大考

趋势巡航
2026-10-28 14:48:02
北大教授韩毓海:毛主席在世时,我根本没有能力真正理解他!

北大教授韩毓海:毛主席在世时,我根本没有能力真正理解他!

开箱历史
2026-10-21 07:25:07
重庆这家老牌互联网小贷公司被执行超千万元

重庆这家老牌互联网小贷公司被执行超千万元

呼呼历史论
2026-10-28 13:23:25
中国老人存款标准曝光:70岁达到这3个标准,就是家庭的福分

中国老人存款标准曝光:70岁达到这3个标准,就是家庭的福分

爱看剧的阿峰
2026-10-28 07:24:51
郑钦文和李娜能打进决赛并夺冠,为何中国网球男选手,经常一轮游

郑钦文和李娜能打进决赛并夺冠,为何中国网球男选手,经常一轮游

体育大学僧
2026-10-15 09:04:18
卡住加州两万张选票图谋落空!上诉法院紧急驳回特朗普诉求,重审州选举权力优先,中期选举博弈总统再添败绩

卡住加州两万张选票图谋落空!上诉法院紧急驳回特朗普诉求,重审州选举权力优先,中期选举博弈总统再添败绩

14号观星辰
2026-10-27 17:20:03
刘涛遭73岁创始人咸猪手:手从肩部滑至腰胸之间,她一转脸笑意消失

刘涛遭73岁创始人咸猪手:手从肩部滑至腰胸之间,她一转脸笑意消失

韩小娱
2026-10-28 18:20:03
一场3-2,上演补时绝杀,科瓦奇神换人:替补神兵任意球破门

一场3-2,上演补时绝杀,科瓦奇神换人:替补神兵任意球破门

足球狗说
2026-10-28 05:58:43
美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

美国承认了,很多人以为美国不介入台海是还在犹豫。错了!真相是,他们早就做好了算术题:打不赢,也赔不起

扶苏聊历史
2026-10-12 13:53:05
中国四杰挥别首尔被称内地男网之痛,大威首次回应屡战屡败

中国四杰挥别首尔被称内地男网之痛,大威首次回应屡战屡败

网球之家
2026-10-28 22:36:06
79岁李保田老到认不出,住处杂乱喝10元桶装水,儿子求着他拍视频

79岁李保田老到认不出,住处杂乱喝10元桶装水,儿子求着他拍视频

长歌侃娱
2026-10-12 09:22:42
走遍全国终于懂了:为什么广州,是中国最“良心”的一线城市

走遍全国终于懂了:为什么广州,是中国最“良心”的一线城市

白米饭怎么吃
2026-10-27 22:07:29
公元581年,杨坚抓获了高纬的宠妃冯小怜。她美貌依旧,却几乎没有大臣愿意娶她。杨坚喜道:“快,送去李将军后院。”

公元581年,杨坚抓获了高纬的宠妃冯小怜。她美貌依旧,却几乎没有大臣愿意娶她。杨坚喜道:“快,送去李将军后院。”

沐书闲读
2026-10-28 12:55:10
同比增近300%,亨通光电第三季度净利超30亿元 但章建平、方文艳退出前十大股东名单

同比增近300%,亨通光电第三季度净利超30亿元 但章建平、方文艳退出前十大股东名单

每日经济新闻
2026-10-28 21:56:06
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
消息称红果短剧年收入400亿元 官方回应

消息称红果短剧年收入400亿元 官方回应

TechWeb
2026-10-28 09:30:09
河南多家工厂暴雷!老板作恶害百姓,还撂狠话,谁拿他们都没办法

河南多家工厂暴雷!老板作恶害百姓,还撂狠话,谁拿他们都没办法

郭蛹包工头
2026-10-28 15:31:50
南京同曦:总经理赛前说一个篮板500块,于是杜润旺抢了八个

南京同曦:总经理赛前说一个篮板500块,于是杜润旺抢了八个

懂球帝
2026-10-28 08:15:06
2026-10-29 04:04:49
脑极体 incentive-icons
脑极体
从智能密钥到已知尽头
3840文章数 167637关注度
往期回顾 全部

科技要闻

宇树科技前三季净利暴增270%

头条要闻

仅退款后冰柜仍插着电在使用 买家回应

头条要闻

仅退款后冰柜仍插着电在使用 买家回应

体育要闻

0胜4负与篮网国王一桌 热火字母哥赌错了?

娱乐要闻

巾帼不让须眉!章子怡拿下重磅荣誉

财经要闻

iPhone Duo七年等来一场吐槽大会

汽车要闻

首销期权益价23.98万起 2026款理想i6上市

态度原创

家居
本地
时尚
亲子
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

十月奔赴迪庆,解锁梅里日照金山

10位顶流男明星比惨,给我惹哭了

亲子要闻

说好乖乖排队下楼,结果一看见妈妈就开启冲刺模式! # 幼儿园日常记录 #人类幼崽 来源/罗庄融媒

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版