网易首页 > 网易号 > 正文 申请入驻

上海WAIC,让我印象最深的是面壁智能MiniCPM-Robot

0
分享至


Digital AI和Physical AI之间,曾有一道难以跨越的鸿沟。

但现在,次元壁破了。

2026年7月19日,世界人工智能大会(WAIC)期间,面壁智能正式发布了其首个具身智能技术成果MiniCPM-Robot,包含两个模型 MiniCPM-RobotManip 和MiniCPM-RobotTrack,而且都开源了。

其中,MiniCPM-RobotManip是一个基于今年5月发布的多模态大模型MiniCPM-V 4.6训练而成的通用VLA(视觉-语言-动作)模型,参数规模仅1.5B,却能完成做三明治等真实世界操作任务。

制作三明治视频(五倍速)

在具身智能赛道日益拥挤的今天,面壁智能选择了一条与众不同的路径:从一开始就以通用智能为起点。

在开源平台上看了一下,还是很有惊喜的:


GitHub 链接:https://github.com/OpenBMB/MiniCPM-Robot

Hugging Face 链接:

https://huggingface.co/openbmb/MiniCPM-RobotManip

https://huggingface.co/openbmb/MiniCPM-RobotTrack

01从语言模型到物理智能

面壁智能做通用物理智能这件事,从两个时间点似乎都能看出铺垫。

2024年初,大模型行业还在卷参数规模,百亿千亿的模型层出不穷。

面壁智能却发了MiniCPM系列端侧模型,最小参数只有几亿,主打能在手机上运行。当时很多人不理解,觉得小尺寸模型性能上限有限。

两年过去,端侧模型成了行业共识。手机厂商、汽车厂商、家电厂商都在找能在终端本地运行的小尺寸模型。

面壁智能在这个赛道里,作为先行者,积累了超过3800万的开源下载量。

现在他们用同样的思路进入了具身智能。

MiniCPM-RobotManip只有1.5B参数,在传统VLA评测榜单上与Qwen-VLA、π0.5这些知名模型性能持平,但尺寸更小,推理更快。


MiniCPM-RobotTrack只有0.9B参数,在单目标跟踪、多目标干扰跟踪、模糊指令跟踪三个维度的评测中都做到了开源模型最优。


面壁智能的朋友说过一个判断:具身智能最终要进入家庭、办公、工厂这些真实场景,模型必须能跑在终端设备上。

云端模型响应再快也有网络延迟,功能再强也有隐私风险。

所以端侧是必经之路。

02视觉压缩破了记忆的局

MiniCPM-RobotManip的核心技术支撑,来自面壁智能今年5月发布的多模态模型MiniCPM-V 4.6。

这款模型有一个关键能力:视觉Token极致压缩。


简单来说,模型处理图片时生成的Token数量大幅减少,图像编码的计算量减半;也是和模型的参数量小有相关。

这个能力放到具身智能场景里,解决了一个很实际的问题。

VLA模型在推理时通常要处理三路相机输入,每路对应一张图片,加上文本指令,输出动作。

这个过程一秒要重复几次。

如果模型还要记住之前几秒的画面,Token数量翻倍,计算量飙升,推理速度变慢。

大多数VLA模型放弃了记忆。他们只根据当前画面做判断,不看之前发生了什么。

问题在于,很多任务天然需要记忆。

让机器人按一个按钮五次,如果模型看不到前序动作,按一次就停或者一直按不停。


RMBench就是专门测试机器人记忆能力的基准。

π0.5在RMBench上只拿到10分,接近随机水平。

MiniCPM-RobotManip凭借视觉压缩带来的计算冗余,在保留上下文记忆的同时不增加推理成本,拿了53分。

不算一个高到惊艳的分数,但在记忆这个维度上,53分已经是碾压式领先。


它证明了VLA模型可以具备上下文记忆能力,只是大多数团队没有找到正确的方法。

在看很多Demo的时候,我最直观的感受是连贯性。

机械臂在完成多步骤任务时,动作序列之间的衔接很自然,没有那种做完一步停下来重新感知的割裂感。

这种流畅度的提升在真实操作场景中不是锦上添花,是决定任务能否完成的必要条件。

03端到端跟踪,补上了部署的短板

MiniCPM-RobotTrack解决的,是另一个问题。

跟踪导航这件事,传统方法依赖检测加跟踪的流水线,先识别目标再追踪轨迹。

这套方案在干净环境下表现不错,一旦目标被遮挡、多个目标交叉运动、指令描述模糊,很容易丢失目标。


MiniCPM-RobotTrack的做法是端到端。

视觉观测、自然语言指令、机器人控制决策统一在一个模型里,直接从文本到行为映射,不做中间的目标检测。

在单目标跟踪任务上追踪率89.8,动态多目标干扰场景73.4,模糊指令场景80.4,全部是开源模型里的最优。

在模糊目标跟踪上,追踪率比闭源模型TrackVLA++高出17个百分点。

但真正让我觉得这件事做得扎实的,是部署层面的考虑。

MiniCPM-RobotTrack原生适配宇树Go2 Edu,提供完整的端到端部署流程。

用户只需要一台机器狗,运行一键部署脚本,不依赖任何云端服务,纯本地、纯视觉、无网络运行。

在电梯里、在地下停车场、在信号屏蔽的展馆,拔掉网卡,机器狗照常跟踪。

见过很多具身智能的demo在展会上跑得丝滑流畅,搬到客户现场就各种崩溃,原因往往很简单,现场网络环境不理想。

展厅、园区、厂区到处是信号盲区。

面壁智能联合乐聚机器人做的展厅导览方案,就是让机器人在无网环境下纯端侧运行。

多模态模型在本地理解环境、理解指令、规划路线,敏感数据不上传云端。

这个逻辑指向一个判断:机器人最终要进入人类社会,在家庭、办公、工厂等隐私场景中与人朝夕相处。

VLA模型最终一定要跑在终端上。

04推理框架,让模型跑得更快

模型能做出来是一回事,跑得快是另一回事。

明体科技联合北京邮电大学和北京大学研发的PhyAI推理框架,发布首日就完成了对MiniCPM-Robot的适配。


在NVIDIA H20上,MiniCPM-RobotManip的推理帧率从10.12Hz提升到了36.77Hz。

36.77帧每秒意味着单次推理时间约27毫秒。

行业里有个经验值,VLA模型推理速度要在200毫秒以内,机器人操作才不会明显卡顿。27毫秒远超这个门槛。

PhyAI做了几件事。

用CUDA Graph做计算图优化,减少CPU和GPU之间的通信开销。

用Tritin编写了针对MiniCPM-Robot的融合算子,把RMSNorm加SiLU门控、Conv1D加SiLU加QKV拆分这些操作合并执行,减少中间数据的搬运次数。

这些优化听起来很底层,但在真实机器人上感受非常直接。

推理速度翻三倍,意味着机械臂从慢动作变成正常速度,意味着机器狗跟踪目标时反应更灵敏,意味着同样的硬件能做更复杂的任务。

面壁智能的思路很清晰。

模型做小,推理做快,两者配合,让具身智能从实验室演示走向真实部署。

05面壁开源,技术落地的最短路径

这次WAIC上让我惊喜的两个模型,都开源了。

GitHub和Hugging Face上可以下载完整的模型权重、推理代码、部署脚本。


GitHub 链接:https://github.com/OpenBMB/MiniCPM-Robot

MiniCPM-RobotTrack还提供了宇树Go2 Edu的一键部署方案,从环境配置到摄像头接入到指令输入到控制接口,全部打包好。

这个决定在商业上未必是最优解,但在推动具身智能发展这件事上,开源是最短路径。

具身智能目前还处于很早期的阶段。

VLA模型怎么做、数据怎么采、推理怎么优化、部署怎么落地,整个行业没有统一的标准。

面壁智能此前开源的MiniCPM系列模型累计下载量超过3800万,在海外技术社区有广泛影响力。

这次把具身智能成果也开源出来,让更多人可以基于这两个模型做二次开发和应用落地。

我认识的几个做机器人创业的朋友已经开始看代码了,而且很兴奋:

MiniCPM-RobotTrack的端到端跟踪方案,可以直接用在巡检机器人上,MiniCPM-RobotManip的记忆能力,对仓储分拣任务很有价值。

开源社区的回馈,会加速模型的迭代,而迭代会让模型更好用。这是一个正循环。

想说几个我的感受。

过去两年行业在卷本体,谁的机械臂更灵活、谁的双足行走更稳定。

接下来的竞争会全面转向模型,谁的VLA更聪明、谁的推理更快、谁能在终端上跑得更流畅。

面壁智能从2024年开始布局端侧模型,当时少有人走。

两年过去,端侧智能成了行业主流叙事。这次发布MiniCPM-Robot,是他们在具身智能方向上的首次亮相。


两个模型全部开源,从算法到推理到部署全链路打通,思路很清晰。

从能说到能看,从能看到能动,从能动到能记住、能跟踪、能理解。

每一个能力的叠加都在缩小AI与物理世界之间的缝隙。

缝隙什么时候填上,没人知道。

但有人在认真填它。

对了,面壁智能最近还在招人,VLA、世界模型、硬件相关研究及工程岗位,都很核心、很有吸引力!

链接:

https://modelbest.jobs.feishu.cn/referral/position/share/?token=MjsxNzg0MTk2Mzc0NzM0Ozc1MTcxMDQyMDA4NzkzNzQzMzk7NzY2MzA1OTI3MDI5NjI3NTIzNjsxLzE


朋友圈会发一些具体的案例和商业化日常~

AI交流,欢迎加我本人微信:FrankGPTs

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
政治局会议释放新信号:告别大水漫灌,你的钱该往哪放?

政治局会议释放新信号:告别大水漫灌,你的钱该往哪放?

知识TNT
2026-09-06 08:30:36
我娶了个俄罗斯退伍女兵,5年生了3个孩子,她从没提过自己的家庭

我娶了个俄罗斯退伍女兵,5年生了3个孩子,她从没提过自己的家庭

千秋文化
2026-09-06 20:29:23
“多少钱都不卖”,“葫芦娃爷爷”连夜把7个葫芦全剪了:来的人太多,要闯祸的,明年大概率不会再种葫芦了

“多少钱都不卖”,“葫芦娃爷爷”连夜把7个葫芦全剪了:来的人太多,要闯祸的,明年大概率不会再种葫芦了

鲁中晨报
2026-09-06 11:47:03
2027年有三大生肖将彻底翻身,晦气清零,事业高升,财运暴涨

2027年有三大生肖将彻底翻身,晦气清零,事业高升,财运暴涨

千秋文化
2026-09-06 20:45:02
4国分5金!国羽1冠2亚收官,安洗莹强势卫冕,5将创纪录首次夺冠!

4国分5金!国羽1冠2亚收官,安洗莹强势卫冕,5将创纪录首次夺冠!

刘姚尧的文字城堡
2026-09-06 19:05:21
穆帅将前利物浦边后卫阿诺德+1.25亿欧迪奥曼德,视为一对右路组合

穆帅将前利物浦边后卫阿诺德+1.25亿欧迪奥曼德,视为一对右路组合

福酱的小时光
2026-09-06 15:26:03
今日热意不减,明天午后起北京将有小到中雨

今日热意不减,明天午后起北京将有小到中雨

新京报
2026-09-06 11:46:03
“尊界暴跌 90%” 骗了多少人?碾压外国豪车,却被贴上惨败标签

“尊界暴跌 90%” 骗了多少人?碾压外国豪车,却被贴上惨败标签

数评时代
2026-09-05 18:25:06
三星堆来源之谜终于揭晓!复旦DNA结果:89%以上来自黄河流域,与汉族高度同源

三星堆来源之谜终于揭晓!复旦DNA结果:89%以上来自黄河流域,与汉族高度同源

马蹄烫嘴说美食
2026-09-06 12:31:35
24GB+1TB!新机官宣:9月10日,正式发布

24GB+1TB!新机官宣:9月10日,正式发布

科技堡垒
2026-09-06 11:40:33
回顾:26岁北大男生失联川西高原,家人:不认领,就让他在那

回顾:26岁北大男生失联川西高原,家人:不认领,就让他在那

今天说故事
2025-08-06 15:40:19
郑钦文创造了难以复制的神话,美网历史第一,大满贯历史第二次

郑钦文创造了难以复制的神话,美网历史第一,大满贯历史第二次

南海浪花
2026-09-06 03:00:12
不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

天天热点见闻
2026-08-29 08:53:35
冯绍峰难再婚真相曝光:不是没人要,是他眼里终于重新有光了

冯绍峰难再婚真相曝光:不是没人要,是他眼里终于重新有光了

手工制作阿歼
2026-09-06 13:56:19
国羽新星绽放!徐文婧2‑0横扫曼西,拿下印尼大师赛女单冠军

国羽新星绽放!徐文婧2‑0横扫曼西,拿下印尼大师赛女单冠军

小兰看体育
2026-09-06 17:27:59
日本前首相鸠山由纪夫公开告诫高市,中国当年放弃巨额战争赔款,附带明确的条件,相关内容早已落实在书面文件,不可肆意违背过往承诺

日本前首相鸠山由纪夫公开告诫高市,中国当年放弃巨额战争赔款,附带明确的条件,相关内容早已落实在书面文件,不可肆意违背过往承诺

唠叨说历史
2026-09-02 16:16:45
一觉醒来,宏远2.13米新大外曝光!朱芳雨筹备新球队,广东旧将再就业

一觉醒来,宏远2.13米新大外曝光!朱芳雨筹备新球队,广东旧将再就业

多特体育说
2026-09-06 11:08:30
国家药监局发布37批次不符合规定药品通告,珍视明、青山利康滴眼液不达标

国家药监局发布37批次不符合规定药品通告,珍视明、青山利康滴眼液不达标

新京报
2026-09-06 20:46:09
73岁法国第一夫人访英穿白裙,罕见梳发尾,绝绝子震惊了

73岁法国第一夫人访英穿白裙,罕见梳发尾,绝绝子震惊了

小怪吃美食
2026-09-06 11:49:09
禁令准时生效,特朗普求锤得锤,中企拒绝发货,美企懵了

禁令准时生效,特朗普求锤得锤,中企拒绝发货,美企懵了

江启
2026-09-06 07:07:12
2026-09-06 21:39:00
AI异类 incentive-icons
AI异类
从硅谷到中关村,AI信息与测评
251文章数 11关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

头条要闻

CHINA GT发生重大撞车起火事故 救援人员因为害怕逃离

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

杨紫获白玉兰影后!爸爸:累了就回家

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

房产
健康
教育
亲子
军事航空

房产要闻

突发重磅!海口出台楼市新政!

脑梗取栓成功≠活下来,还有这三关

教育要闻

2905人!长江大学2026级研究生新生大数据出炉!

亲子要闻

开学季孩子失眠、腹痛、情绪低落 专家提醒:这可能是孩子发出的心理求助信号

军事要闻

美伊互袭油轮 伊朗军方称或对美进行更大规模打击

无障碍浏览 进入关怀版