网易首页 > 网易号 > 正文 申请入驻

上海WAIC,让我印象最深的是面壁智能MiniCPM-Robot

0
分享至


Digital AI和Physical AI之间,曾有一道难以跨越的鸿沟。

但现在,次元壁破了。

2026年7月19日,世界人工智能大会(WAIC)期间,面壁智能正式发布了其首个具身智能技术成果MiniCPM-Robot,包含两个模型 MiniCPM-RobotManip 和MiniCPM-RobotTrack,而且都开源了。

其中,MiniCPM-RobotManip是一个基于今年5月发布的多模态大模型MiniCPM-V 4.6训练而成的通用VLA(视觉-语言-动作)模型,参数规模仅1.5B,却能完成做三明治等真实世界操作任务。

制作三明治视频(五倍速)

在具身智能赛道日益拥挤的今天,面壁智能选择了一条与众不同的路径:从一开始就以通用智能为起点。

在开源平台上看了一下,还是很有惊喜的:


GitHub 链接:https://github.com/OpenBMB/MiniCPM-Robot

Hugging Face 链接:

https://huggingface.co/openbmb/MiniCPM-RobotManip

https://huggingface.co/openbmb/MiniCPM-RobotTrack

01从语言模型到物理智能

面壁智能做通用物理智能这件事,从两个时间点似乎都能看出铺垫。

2024年初,大模型行业还在卷参数规模,百亿千亿的模型层出不穷。

面壁智能却发了MiniCPM系列端侧模型,最小参数只有几亿,主打能在手机上运行。当时很多人不理解,觉得小尺寸模型性能上限有限。

两年过去,端侧模型成了行业共识。手机厂商、汽车厂商、家电厂商都在找能在终端本地运行的小尺寸模型。

面壁智能在这个赛道里,作为先行者,积累了超过3800万的开源下载量。

现在他们用同样的思路进入了具身智能。

MiniCPM-RobotManip只有1.5B参数,在传统VLA评测榜单上与Qwen-VLA、π0.5这些知名模型性能持平,但尺寸更小,推理更快。


MiniCPM-RobotTrack只有0.9B参数,在单目标跟踪、多目标干扰跟踪、模糊指令跟踪三个维度的评测中都做到了开源模型最优。


面壁智能的朋友说过一个判断:具身智能最终要进入家庭、办公、工厂这些真实场景,模型必须能跑在终端设备上。

云端模型响应再快也有网络延迟,功能再强也有隐私风险。

所以端侧是必经之路。

02视觉压缩破了记忆的局

MiniCPM-RobotManip的核心技术支撑,来自面壁智能今年5月发布的多模态模型MiniCPM-V 4.6。

这款模型有一个关键能力:视觉Token极致压缩。


简单来说,模型处理图片时生成的Token数量大幅减少,图像编码的计算量减半;也是和模型的参数量小有相关。

这个能力放到具身智能场景里,解决了一个很实际的问题。

VLA模型在推理时通常要处理三路相机输入,每路对应一张图片,加上文本指令,输出动作。

这个过程一秒要重复几次。

如果模型还要记住之前几秒的画面,Token数量翻倍,计算量飙升,推理速度变慢。

大多数VLA模型放弃了记忆。他们只根据当前画面做判断,不看之前发生了什么。

问题在于,很多任务天然需要记忆。

让机器人按一个按钮五次,如果模型看不到前序动作,按一次就停或者一直按不停。


RMBench就是专门测试机器人记忆能力的基准。

π0.5在RMBench上只拿到10分,接近随机水平。

MiniCPM-RobotManip凭借视觉压缩带来的计算冗余,在保留上下文记忆的同时不增加推理成本,拿了53分。

不算一个高到惊艳的分数,但在记忆这个维度上,53分已经是碾压式领先。


它证明了VLA模型可以具备上下文记忆能力,只是大多数团队没有找到正确的方法。

在看很多Demo的时候,我最直观的感受是连贯性。

机械臂在完成多步骤任务时,动作序列之间的衔接很自然,没有那种做完一步停下来重新感知的割裂感。

这种流畅度的提升在真实操作场景中不是锦上添花,是决定任务能否完成的必要条件。

03端到端跟踪,补上了部署的短板

MiniCPM-RobotTrack解决的,是另一个问题。

跟踪导航这件事,传统方法依赖检测加跟踪的流水线,先识别目标再追踪轨迹。

这套方案在干净环境下表现不错,一旦目标被遮挡、多个目标交叉运动、指令描述模糊,很容易丢失目标。


MiniCPM-RobotTrack的做法是端到端。

视觉观测、自然语言指令、机器人控制决策统一在一个模型里,直接从文本到行为映射,不做中间的目标检测。

在单目标跟踪任务上追踪率89.8,动态多目标干扰场景73.4,模糊指令场景80.4,全部是开源模型里的最优。

在模糊目标跟踪上,追踪率比闭源模型TrackVLA++高出17个百分点。

但真正让我觉得这件事做得扎实的,是部署层面的考虑。

MiniCPM-RobotTrack原生适配宇树Go2 Edu,提供完整的端到端部署流程。

用户只需要一台机器狗,运行一键部署脚本,不依赖任何云端服务,纯本地、纯视觉、无网络运行。

在电梯里、在地下停车场、在信号屏蔽的展馆,拔掉网卡,机器狗照常跟踪。

见过很多具身智能的demo在展会上跑得丝滑流畅,搬到客户现场就各种崩溃,原因往往很简单,现场网络环境不理想。

展厅、园区、厂区到处是信号盲区。

面壁智能联合乐聚机器人做的展厅导览方案,就是让机器人在无网环境下纯端侧运行。

多模态模型在本地理解环境、理解指令、规划路线,敏感数据不上传云端。

这个逻辑指向一个判断:机器人最终要进入人类社会,在家庭、办公、工厂等隐私场景中与人朝夕相处。

VLA模型最终一定要跑在终端上。

04推理框架,让模型跑得更快

模型能做出来是一回事,跑得快是另一回事。

明体科技联合北京邮电大学和北京大学研发的PhyAI推理框架,发布首日就完成了对MiniCPM-Robot的适配。


在NVIDIA H20上,MiniCPM-RobotManip的推理帧率从10.12Hz提升到了36.77Hz。

36.77帧每秒意味着单次推理时间约27毫秒。

行业里有个经验值,VLA模型推理速度要在200毫秒以内,机器人操作才不会明显卡顿。27毫秒远超这个门槛。

PhyAI做了几件事。

用CUDA Graph做计算图优化,减少CPU和GPU之间的通信开销。

用Tritin编写了针对MiniCPM-Robot的融合算子,把RMSNorm加SiLU门控、Conv1D加SiLU加QKV拆分这些操作合并执行,减少中间数据的搬运次数。

这些优化听起来很底层,但在真实机器人上感受非常直接。

推理速度翻三倍,意味着机械臂从慢动作变成正常速度,意味着机器狗跟踪目标时反应更灵敏,意味着同样的硬件能做更复杂的任务。

面壁智能的思路很清晰。

模型做小,推理做快,两者配合,让具身智能从实验室演示走向真实部署。

05面壁开源,技术落地的最短路径

这次WAIC上让我惊喜的两个模型,都开源了。

GitHub和Hugging Face上可以下载完整的模型权重、推理代码、部署脚本。


GitHub 链接:https://github.com/OpenBMB/MiniCPM-Robot

MiniCPM-RobotTrack还提供了宇树Go2 Edu的一键部署方案,从环境配置到摄像头接入到指令输入到控制接口,全部打包好。

这个决定在商业上未必是最优解,但在推动具身智能发展这件事上,开源是最短路径。

具身智能目前还处于很早期的阶段。

VLA模型怎么做、数据怎么采、推理怎么优化、部署怎么落地,整个行业没有统一的标准。

面壁智能此前开源的MiniCPM系列模型累计下载量超过3800万,在海外技术社区有广泛影响力。

这次把具身智能成果也开源出来,让更多人可以基于这两个模型做二次开发和应用落地。

我认识的几个做机器人创业的朋友已经开始看代码了,而且很兴奋:

MiniCPM-RobotTrack的端到端跟踪方案,可以直接用在巡检机器人上,MiniCPM-RobotManip的记忆能力,对仓储分拣任务很有价值。

开源社区的回馈,会加速模型的迭代,而迭代会让模型更好用。这是一个正循环。

想说几个我的感受。

过去两年行业在卷本体,谁的机械臂更灵活、谁的双足行走更稳定。

接下来的竞争会全面转向模型,谁的VLA更聪明、谁的推理更快、谁能在终端上跑得更流畅。

面壁智能从2024年开始布局端侧模型,当时少有人走。

两年过去,端侧智能成了行业主流叙事。这次发布MiniCPM-Robot,是他们在具身智能方向上的首次亮相。


两个模型全部开源,从算法到推理到部署全链路打通,思路很清晰。

从能说到能看,从能看到能动,从能动到能记住、能跟踪、能理解。

每一个能力的叠加都在缩小AI与物理世界之间的缝隙。

缝隙什么时候填上,没人知道。

但有人在认真填它。

对了,面壁智能最近还在招人,VLA、世界模型、硬件相关研究及工程岗位,都很核心、很有吸引力!

链接:

https://modelbest.jobs.feishu.cn/referral/position/share/?token=MjsxNzg0MTk2Mzc0NzM0Ozc1MTcxMDQyMDA4NzkzNzQzMzk7NzY2MzA1OTI3MDI5NjI3NTIzNjsxLzE


朋友圈会发一些具体的案例和商业化日常~

AI交流,欢迎加我本人微信:FrankGPTs

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
外网查了查,可算知道,这家伙到底说了啥,他道歉了,要原谅吗?

外网查了查,可算知道,这家伙到底说了啥,他道歉了,要原谅吗?

辣条叨叨叨
2026-10-29 18:51:40
WTT冠军赛:日本男单剩1人!世界冠军被逆转,莫雷加德胜户上隼辅

WTT冠军赛:日本男单剩1人!世界冠军被逆转,莫雷加德胜户上隼辅

全言作品
2026-10-30 02:38:04
这6样食物可及时预防脑卒中,身体越来越好,你知道是什么吗?

这6样食物可及时预防脑卒中,身体越来越好,你知道是什么吗?

轩辕岛
2026-10-28 12:05:06
随着中国4-3,墨西哥1-2,U17女足世界杯8强已诞生6席:2大东亚劲旅在列

随着中国4-3,墨西哥1-2,U17女足世界杯8强已诞生6席:2大东亚劲旅在列

侧身凌空斩
2026-10-30 01:14:06
纯电汽车可能会被时代抛弃?内行人预言:下一个主角已登场!

纯电汽车可能会被时代抛弃?内行人预言:下一个主角已登场!

兴趣知识
2026-10-29 03:02:21
联大激烈交锋后,鲁比奥驱逐古巴驻联合国代表,中方:必须终止

联大激烈交锋后,鲁比奥驱逐古巴驻联合国代表,中方:必须终止

闻识
2026-10-29 09:33:18
青岛一学校小升初奖学金高达48万?校方及当地教育局回应

青岛一学校小升初奖学金高达48万?校方及当地教育局回应

界面新闻
2026-10-29 21:52:20
特朗普1300字长文开骂,主持人补刀:他该去治国

特朗普1300字长文开骂,主持人补刀:他该去治国

自愈小日子
2026-10-29 00:43:18
3-2险胜!男单爆大冷!就在刚刚,WTT冠军赛捷报:国乒克星出局,29岁周启豪再创奇迹!王皓立大功

3-2险胜!男单爆大冷!就在刚刚,WTT冠军赛捷报:国乒克星出局,29岁周启豪再创奇迹!王皓立大功

锐评利物浦
2026-10-29 10:07:00
西班牙记者声援姆巴佩:他是在开玩笑 不理解中国球迷发怒 不可思议

西班牙记者声援姆巴佩:他是在开玩笑 不理解中国球迷发怒 不可思议

风过乡
2026-10-29 22:23:15
叫了11年的姐姐竟是亲妈?!母亲节没送酒,她被亲妈一刀捅进心脏…

叫了11年的姐姐竟是亲妈?!母亲节没送酒,她被亲妈一刀捅进心脏…

英国那些事儿
2026-10-29 02:05:09
普京:某些国家仍拥有殖民思维,用最卑劣的手段牟利,一个更加公正的多极世界正成为现实,不可逆转

普京:某些国家仍拥有殖民思维,用最卑劣的手段牟利,一个更加公正的多极世界正成为现实,不可逆转

每日经济新闻
2026-10-29 18:06:02
27岁抗癌博主去世,去年确诊三阴乳腺癌:起初以为是纤维瘤,没有重视,直到最后B超报出4C

27岁抗癌博主去世,去年确诊三阴乳腺癌:起初以为是纤维瘤,没有重视,直到最后B超报出4C

荔枝新闻
2026-10-29 16:50:56
10月29日国家再次实施调控,成品油价格适当调整

10月29日国家再次实施调控,成品油价格适当调整

界面新闻
2026-10-29 15:01:20
“死了骨头还要被我玩”,一医学生在大体老师骨骼上写轻浮文字引众怒:医德何在?

“死了骨头还要被我玩”,一医学生在大体老师骨骼上写轻浮文字引众怒:医德何在?

天涯社区
2026-10-29 17:58:59
联赛第一!北京大胜青岛6连胜 桑普森27+15陈盈骏助攻升历史第9

联赛第一!北京大胜青岛6连胜 桑普森27+15陈盈骏助攻升历史第9

醉卧浮生
2026-10-29 21:43:42
拍了两年才放出!美军公布中国绝密空天飞机,太空暗战升级

拍了两年才放出!美军公布中国绝密空天飞机,太空暗战升级

健身狂人
2026-10-29 20:18:25
很多公司已经发不出工资了!

很多公司已经发不出工资了!

细说职场
2026-10-29 09:22:49
两个月减重22斤,河南35岁男子吃凉土豆蘸辣椒减肥,“第一周效果明显,几乎一天掉一斤”,医生揭秘:关键是放凉了再吃

两个月减重22斤,河南35岁男子吃凉土豆蘸辣椒减肥,“第一周效果明显,几乎一天掉一斤”,医生揭秘:关键是放凉了再吃

大风新闻
2026-10-29 16:21:06
悲剧!黑龙江高速美女话务员韩露去世,年仅36岁,生前烟酒不沾,丈夫悲痛发文

悲剧!黑龙江高速美女话务员韩露去世,年仅36岁,生前烟酒不沾,丈夫悲痛发文

火山詩话
2026-10-29 10:40:29
2026-10-30 04:35:00
AI异类 incentive-icons
AI异类
从硅谷到中关村,AI信息与测评
281文章数 11关注度
往期回顾 全部

科技要闻

MacBook终于能触屏了:22999元起

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

体育要闻

超级黑马!球队不败 29岁的他得分榜前三

娱乐要闻

白百何被曝和二婚丈夫离婚 和男生逛街

财经要闻

两大娱乐巨头,谈崩了

汽车要闻

标配宁德时代电池 智己LS8 NEO纯电预售24.98万起

态度原创

亲子
家居
数码
艺术
手机

亲子要闻

这水是一点不浪费

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

MacBook Pro首次支持触控!苹果新品又来了

艺术要闻

一个底层画画的,遇上愿意养他十年的大佬,直接画进传世名画

手机要闻

一加Ace7发布!双路冰河风冷系统 全能比肩旗舰

无障碍浏览 进入关怀版