网易首页 > 网易号 > 正文 申请入驻

这家中国公司,让GPU利用率飙升!全球AI圈热议

0
分享至

最近,我遇到一个十分头疼的问题,K哥团队有一组集群机器,配了4张GPU显卡,平时主要用来测评大模型、开发AI应用。本来应该是够用了,但是在使用GPU的时候经常是独占式的,一个任务占了整张卡,利用率却只有30%,别的任务就要排队。

一边是GPU大把闲置,一边是开发人员排队等资源。就像餐厅里明明有空位,但因为每桌只坐了一个人,后面的客人还得等位。造成了算力资源的浪费,很多企业应该都面临类似的困境。

01

GPU资源管理困局

关于GPU资源管理的问题,其实远不止利用率不高这一点,在使用过程中普遍会遇到以下四个问题:

1、资源颗粒度太粗。如前面说的场景,一张16GB的T4卡,只能整卡分配,利用率只有30%,白白浪费11G多。

2、调度机制不够智能。K8s原生调度只知道“有卡”或“没卡”,不知道卡上还剩多少显存、算力,就好比一个停车场虽然车位满了,但是还能够塞进很多辆摩托车。

3、资源隔离难。开发、测试、生产环境混在一起,没法给不同团队单独的工作区间,避免相互干扰。

4、管理成本高。传统的资源申请要走人工审批,出了问题也要排查很久,导致管理成本很高。

如何才能更高效地管理GPU资源,难道以上问题就没有更好的解决方案吗?

02

OrionX社区版,初体验

一次偶然的机会,我了解到OrionX社区版。这是由趋动科技开发的,OrionX的轻量级部署版本,帮助用户构建数据中心级AI算力资源池、降本增效。它的核心理念是:用软件定义AI算力,让GPU资源像云计算一样灵活。

原理也不复杂,就是把显卡、算力按很小的粒度进行切分,然后根据用户实际需要进行组合。传统的GPU管理就像饭店的包间,你一个人也得开一间,而OrionX社区版把包间改成拼桌,来几个人就坐几个位子,灵活调整,绝不浪费。

OrionX社区版究竟能不能解决GPU管理的困境呢?我上手做了个测评,下面跟随我一起来体验吧。

首先,从官网上提交申请,扫码填写信息:

审核通过后,会收到一封确认邮件,获取授权码、下载地址。



下载安装文件,上传到服务器,准备开始安装。



安装的过程很简单,主要是基于K8S环境进行部署。开始部署前需要对安装环境做基础检查,包括:

GPU驱动检查:nvidia-smi

Kubernetes环境检查:get node -owide

Nvidia Container Toolkit检查:

docker info | grep 'Default Runtime'







状态正常,就可以开始部署了。

1)部署文件上传

上传OrionX部署文件yaml.tar.gz至K8S管理节点任意位置,并解压.



2)K8S节点标记

编辑部署文件tools/label.sh脚本,按资源规划修改如下内容,然后对执行K8S集群节点进行标记:



3)创建命名空间和配置信息对象

执行如下操作,创建名为orionx的命名空间,创建OrionX配置信息ConfigMap对象,命令如下:

kubectl apply -f base/

4)部署orionx-ocenter-all-in-one组件

执行如下操作,部署orionx-ocenter-all-in-one组件,命令如下:

kubectl apply -f deploy/orionx-ocenter-all-in-one.yaml

5)导入License

通过浏览器访问http://,打开OrionX GUI管理页面,通过激活页面,添加激活文件按钮导入License,导入后会显示证书信息,如下图所示:

:30125



6)部署orionx-k8s-scheduler组件

执行如下操作,部署orionx-k8s-scheduler组件,命令如下:

kubectl apply -f deploy/orionx-k8s-scheduler-extender.yaml

7)部署orionx-server组件

部署orionx-server组件,修改配置文件如下,并执行命令:

kubectl apply -f deploy/orionx-gpu-server.yaml



8)部署orionx-k8s-device-plugin组件

执行如下操作,部署orionx-k8s-device-plugin组件,命令行:

kubectl apply -f deploy/orionx-k8s-device-plugin.yaml

9)部署orionx-gpu-exporter组件

执行如下操作,部署orionx-gpu-exporter组件,会部署于所有OrionX GPU计算节点:

kubectl apply -f deploy/orionx-gpu-exporter.yam

10)部署orionx-k8s-admission-webhooks组件

执行如下命令,部署orionx-k8s-admission-webhooks组件:

kubectl apply -f deploy/orionx-k8s-admission-webhooks.yaml

11)部署orionx-container-runtime组件

执行如下操作,部署orionx-container-runtime组件:

kubectl apply -f deploy/orionx-container-runtime.yaml

现在就可以开始使用Orion社区版了,整体安装过程很丝滑,下面就可以到后台去操作了。浏览器访问http://地址,打开OrionX GUI,进行登录,初始用户名密码见安装手册。

:30125

进入节点详情页面可以查看该节点GPU资源使用率监控统计图。



还可以进行节点管理。在OrionX GUI左侧导航栏选择“节点”,在节点信息页面可以禁用或启用节点。



整个安装过程很顺滑,只要具备基本的Linux使用能力,就可以轻松完成。

03

轻松管理你的GPU资源池

下面谈谈我对OrionX社区版的总体使用感受,主要有四点体会:

1、资源分配灵活,告别“大锅饭”。更细粒度地分配GPU资源,提高资源利用率,这就解决了我们团队遇到的GPU独占的问题,而且申请资源无须再等待,提升了日常管理效率。

2、智能调度,让资源分配更合理。GPU的调度是智能化的,可以做到节点均匀,设备紧凑,节点优先,这就解决了一些节点负载高、一些负载低的问题,并且策略是可配置的。

3、超分,榨干GPU每一滴性能。很多任务不是一直满负荷用GPU,推理任务经常是突发式的,通过统一内存管理和算力复用,可以分配出更多vGPU,合理使用超分功能可以进一步提升GPU效能。

4、可视化管理,一目了然。Orion社区版的GUI界面做得很不错,资源监控很直观,点进某个节点,可以看到详细的监控曲线、GPU利用率曲线(最近24小时)、显存使用趋势。

04

立刻开启GPU资源池化时代

OrionX社区版通过构建算力资源池,将粗放的管理转变为精细化运营,这是中国科技企业在AI基础设施领域的突破。正如凯文·凯利在《必然》中所说:“技术的真正力量,不在于它能做什么,而在于它让更多人能做什么。”AI算力池化技术的价值,恰恰在于让研发团队也能用得起、用得好AI算力,打破算力垄断的壁垒。

如果你的团队也面临GPU资源管理困境,立即扫码申请使用OrionX社区版。



有兴趣的朋友提交上面表单信息后,也可以添加下方小助手微信进行交流。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

极目新闻
2026-11-18 19:24:20
彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

魔都姐姐杂谈
2026-11-18 13:09:03
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

澎湃新闻
2026-11-15 10:26:02
莫言:退休后,亲友可有可无、房子可有可无、老伴可有可无、儿女的孝心可有可无、原单位的好处、饭局可有可无......日子就特别好过

莫言:退休后,亲友可有可无、房子可有可无、老伴可有可无、儿女的孝心可有可无、原单位的好处、饭局可有可无......日子就特别好过

二胡的岁月如歌
2026-11-05 09:38:15
白人又要回到白奴时代了,一部分人已经先过上了白奴生活

白人又要回到白奴时代了,一部分人已经先过上了白奴生活

百花谷周伯通
2026-11-17 07:16:50
波切蒂诺带来体能与力量教练图亚,是曼联首位女性教练组成员

波切蒂诺带来体能与力量教练图亚,是曼联首位女性教练组成员

懂球帝
2026-11-18 11:26:18
胖东来走了,腾讯也走了:留下空铺子和降下来的房租,是谁赢了?

胖东来走了,腾讯也走了:留下空铺子和降下来的房租,是谁赢了?

墨兰史书
2026-08-18 07:25:11
11月18日俄乌:对俄远程打击遭美国谴责,欧洲多国继续大力援乌

11月18日俄乌:对俄远程打击遭美国谴责,欧洲多国继续大力援乌

山河路口
2026-11-18 20:30:13
“恭喜BLG,但我早不玩英雄联盟了”

“恭喜BLG,但我早不玩英雄联盟了”

中国企业家杂志
2026-11-17 19:40:04
突发! 澳洲重磅警告: 危机即将来临, 全民囤好紧急物资! 官方推出应急包, 有华人提前半年囤货

突发! 澳洲重磅警告: 危机即将来临, 全民囤好紧急物资! 官方推出应急包, 有华人提前半年囤货

澳微Daily
2026-11-18 15:35:24
轰40+11+8三分,垫底鱼腩养出超级奇兵!末节独揽25分终结12连败

轰40+11+8三分,垫底鱼腩养出超级奇兵!末节独揽25分终结12连败

锅子篮球
2026-11-18 15:30:14
智商高、还有本事的三大星座

智商高、还有本事的三大星座

别人都叫我阿螫
2026-11-18 05:58:52
比亚迪新车官宣:11月18日即将上市,续航1630km

比亚迪新车官宣:11月18日即将上市,续航1630km

科技阿维
2026-11-18 22:31:26
向太曝马伊琍已再婚:当年文章过不了心理那关

向太曝马伊琍已再婚:当年文章过不了心理那关

娱乐看阿敞
2025-12-12 15:50:00
日本10月份出口同比增长20.5%

日本10月份出口同比增长20.5%

每日经济新闻
2026-11-18 07:56:11
人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

北纬的咖啡豆
2026-11-18 09:44:39
有没有发现,身边有很多60、70后,银行里存有上百万,也有退休保障,却不舍得花钱,甚至一杯奶茶都没喝过,就知道存钱

有没有发现,身边有很多60、70后,银行里存有上百万,也有退休保障,却不舍得花钱,甚至一杯奶茶都没喝过,就知道存钱

犀利辣椒
2026-10-20 06:22:18
爆炸沉没!霍尔木兹海峡

爆炸沉没!霍尔木兹海峡

陆弃
2026-11-17 11:10:41
狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

大爱狗狗控
2026-11-18 20:48:36
2026-11-19 03:48:49
技术领导力 incentive-icons
技术领导力
Mr.K,出过书,做过CTO
157文章数 631关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
数码
手机
房产
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

1499元 AOC新款27寸显示器上市:2K 120Hz屏、内置双扬

手机要闻

苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

房产要闻

周大生出手!海棠湾又一大商业体来了

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版