网易首页 > 网易号 > 正文 申请入驻

这家中国公司,让GPU利用率飙升!全球AI圈热议

0
分享至

最近,我遇到一个十分头疼的问题,K哥团队有一组集群机器,配了4张GPU显卡,平时主要用来测评大模型、开发AI应用。本来应该是够用了,但是在使用GPU的时候经常是独占式的,一个任务占了整张卡,利用率却只有30%,别的任务就要排队。

一边是GPU大把闲置,一边是开发人员排队等资源。就像餐厅里明明有空位,但因为每桌只坐了一个人,后面的客人还得等位。造成了算力资源的浪费,很多企业应该都面临类似的困境。

01

GPU资源管理困局

关于GPU资源管理的问题,其实远不止利用率不高这一点,在使用过程中普遍会遇到以下四个问题:

1、资源颗粒度太粗。如前面说的场景,一张16GB的T4卡,只能整卡分配,利用率只有30%,白白浪费11G多。

2、调度机制不够智能。K8s原生调度只知道“有卡”或“没卡”,不知道卡上还剩多少显存、算力,就好比一个停车场虽然车位满了,但是还能够塞进很多辆摩托车。

3、资源隔离难。开发、测试、生产环境混在一起,没法给不同团队单独的工作区间,避免相互干扰。

4、管理成本高。传统的资源申请要走人工审批,出了问题也要排查很久,导致管理成本很高。

如何才能更高效地管理GPU资源,难道以上问题就没有更好的解决方案吗?

02

OrionX社区版,初体验

一次偶然的机会,我了解到OrionX社区版。这是由趋动科技开发的,OrionX的轻量级部署版本,帮助用户构建数据中心级AI算力资源池、降本增效。它的核心理念是:用软件定义AI算力,让GPU资源像云计算一样灵活。

原理也不复杂,就是把显卡、算力按很小的粒度进行切分,然后根据用户实际需要进行组合。传统的GPU管理就像饭店的包间,你一个人也得开一间,而OrionX社区版把包间改成拼桌,来几个人就坐几个位子,灵活调整,绝不浪费。

OrionX社区版究竟能不能解决GPU管理的困境呢?我上手做了个测评,下面跟随我一起来体验吧。

首先,从官网上提交申请,扫码填写信息:

审核通过后,会收到一封确认邮件,获取授权码、下载地址。



下载安装文件,上传到服务器,准备开始安装。



安装的过程很简单,主要是基于K8S环境进行部署。开始部署前需要对安装环境做基础检查,包括:

GPU驱动检查:nvidia-smi

Kubernetes环境检查:get node -owide

Nvidia Container Toolkit检查:

docker info | grep 'Default Runtime'







状态正常,就可以开始部署了。

1)部署文件上传

上传OrionX部署文件yaml.tar.gz至K8S管理节点任意位置,并解压.



2)K8S节点标记

编辑部署文件tools/label.sh脚本,按资源规划修改如下内容,然后对执行K8S集群节点进行标记:



3)创建命名空间和配置信息对象

执行如下操作,创建名为orionx的命名空间,创建OrionX配置信息ConfigMap对象,命令如下:

kubectl apply -f base/

4)部署orionx-ocenter-all-in-one组件

执行如下操作,部署orionx-ocenter-all-in-one组件,命令如下:

kubectl apply -f deploy/orionx-ocenter-all-in-one.yaml

5)导入License

通过浏览器访问http://,打开OrionX GUI管理页面,通过激活页面,添加激活文件按钮导入License,导入后会显示证书信息,如下图所示:

:30125



6)部署orionx-k8s-scheduler组件

执行如下操作,部署orionx-k8s-scheduler组件,命令如下:

kubectl apply -f deploy/orionx-k8s-scheduler-extender.yaml

7)部署orionx-server组件

部署orionx-server组件,修改配置文件如下,并执行命令:

kubectl apply -f deploy/orionx-gpu-server.yaml



8)部署orionx-k8s-device-plugin组件

执行如下操作,部署orionx-k8s-device-plugin组件,命令行:

kubectl apply -f deploy/orionx-k8s-device-plugin.yaml

9)部署orionx-gpu-exporter组件

执行如下操作,部署orionx-gpu-exporter组件,会部署于所有OrionX GPU计算节点:

kubectl apply -f deploy/orionx-gpu-exporter.yam

10)部署orionx-k8s-admission-webhooks组件

执行如下命令,部署orionx-k8s-admission-webhooks组件:

kubectl apply -f deploy/orionx-k8s-admission-webhooks.yaml

11)部署orionx-container-runtime组件

执行如下操作,部署orionx-container-runtime组件:

kubectl apply -f deploy/orionx-container-runtime.yaml

现在就可以开始使用Orion社区版了,整体安装过程很丝滑,下面就可以到后台去操作了。浏览器访问http://地址,打开OrionX GUI,进行登录,初始用户名密码见安装手册。

:30125

进入节点详情页面可以查看该节点GPU资源使用率监控统计图。



还可以进行节点管理。在OrionX GUI左侧导航栏选择“节点”,在节点信息页面可以禁用或启用节点。



整个安装过程很顺滑,只要具备基本的Linux使用能力,就可以轻松完成。

03

轻松管理你的GPU资源池

下面谈谈我对OrionX社区版的总体使用感受,主要有四点体会:

1、资源分配灵活,告别“大锅饭”。更细粒度地分配GPU资源,提高资源利用率,这就解决了我们团队遇到的GPU独占的问题,而且申请资源无须再等待,提升了日常管理效率。

2、智能调度,让资源分配更合理。GPU的调度是智能化的,可以做到节点均匀,设备紧凑,节点优先,这就解决了一些节点负载高、一些负载低的问题,并且策略是可配置的。

3、超分,榨干GPU每一滴性能。很多任务不是一直满负荷用GPU,推理任务经常是突发式的,通过统一内存管理和算力复用,可以分配出更多vGPU,合理使用超分功能可以进一步提升GPU效能。

4、可视化管理,一目了然。Orion社区版的GUI界面做得很不错,资源监控很直观,点进某个节点,可以看到详细的监控曲线、GPU利用率曲线(最近24小时)、显存使用趋势。

04

立刻开启GPU资源池化时代

OrionX社区版通过构建算力资源池,将粗放的管理转变为精细化运营,这是中国科技企业在AI基础设施领域的突破。正如凯文·凯利在《必然》中所说:“技术的真正力量,不在于它能做什么,而在于它让更多人能做什么。”AI算力池化技术的价值,恰恰在于让研发团队也能用得起、用得好AI算力,打破算力垄断的壁垒。

如果你的团队也面临GPU资源管理困境,立即扫码申请使用OrionX社区版。



有兴趣的朋友提交上面表单信息后,也可以添加下方小助手微信进行交流。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

墨韵兰亭l
2026-11-18 21:24:07
内娱姐妹花:决裂10年,拒绝复合

内娱姐妹花:决裂10年,拒绝复合

最人物
2026-11-18 15:45:33
墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

雅俗共赏1
2025-09-03 14:00:28
49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

板栗说事
2025-02-17 07:54:14
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
马刺12连胜被终结之夜,哈珀伤退,主帅称"什么都不知道"

马刺12连胜被终结之夜,哈珀伤退,主帅称"什么都不知道"

晚风知我意21
2026-11-19 01:04:30
詹姆斯轮休76人狂胜!恩比德赛后一句话,道出全队不敢说的真相

詹姆斯轮休76人狂胜!恩比德赛后一句话,道出全队不敢说的真相

吴蒂旅行ing
2026-11-18 12:50:04
克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

大卫的篮球故事
2026-11-18 19:39:37
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
比红薯通便,比芋头养人,11月使劲吃!一养肝、二通便、三健脾胃

比红薯通便,比芋头养人,11月使劲吃!一养肝、二通便、三健脾胃

阿龙美食记
2026-11-15 12:26:07
日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

扶苏聊历史
2026-10-11 11:35:08
中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

林子说事
2026-11-17 07:18:15
湖人13胜2负高居西部第一,名嘴仍断言他们次轮出局

湖人13胜2负高居西部第一,名嘴仍断言他们次轮出局

元气满分吖
2026-11-19 03:16:52
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
安徽阜阳一校花太漂亮了 身高170 五官精致 美得让人移不开眼

安徽阜阳一校花太漂亮了 身高170 五官精致 美得让人移不开眼

生活新鲜市
2026-11-18 16:53:58
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
为啥很多人打破头皮也要进国企?网友:因为有人就图稳定啊,比如我

为啥很多人打破头皮也要进国企?网友:因为有人就图稳定啊,比如我

带你感受人间冷暖
2026-11-19 00:05:18
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

饭小妹说历史
2026-10-20 15:47:54
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
2026-11-19 03:36:49
技术领导力 incentive-icons
技术领导力
Mr.K,出过书,做过CTO
157文章数 631关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
健康
本地
时尚
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版