一句话指挥机器人组团打工，还能越干越聪明?这波物理AI有点夯

编辑｜Red Panda

「小狗，去找你的好朋友瓦力，打个招呼。」收到指令，机器狗立马朝瓦力走去，主动打起了招呼。

再来一句：「给瓦力跳个舞吧。」好家伙，它还真跳上了。只见机器狗在展台上扭动身体，一段颇有喜感的舞蹈说来就来。

找朋友、打招呼、跳舞 …… 这只机器狗，是真听劝。

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

10 月 20 日上午，2026 物理 AI 与世界模型大会在南京开幕。图灵奖得主通过视频分享前沿判断，院士与产业界嘉宾齐聚现场，一批创新成果也在展区集中亮相。

在爱思科技 （ Agnes AI ）的展区，过去要让机器狗完成这样的动作，往往离不开人工遥控。现在，用户只需说出想要的结果，剩下的工作就交给 AI。

这背后究竟发生了什么？

展区的工作台给出了线索：机器狗的摄像头视角、设备状态、模型发出的工具调用，以及设备正在执行的动作，都被整合在同一个界面中。

原来，用户给出的是一句话，系统还要理解任务、观察环境、调用设备，再根据执行反馈推进下一步。

可这中间这条链路怎么打通？

爱思科技给出的答案，不只在模型里，还在连接模型与现实设备的执行框架中。

在自研的全模态模型基础上，他们构建了一套智能体运行框架，负责连接模型、工具、任务状态与执行流程，再通过设备接入协议 MHS（Model Hardware Standard，模型硬件标准），将这套能力延伸至物理硬件。

过去的机器人更多依赖遥控，爱思科技创始人杨通曾提到，而 Agnes Harness 希望让设备具备更强的自主决策与协作能力，学会沟通、思考并解决问题。

所谓「万物共脑」，大抵也是这个意思。

沿着展台逛下去，我们发现，机器狗找到瓦力、主动打招呼，也只是一个切面。把每个可编程设备变成一个硅基生命，将技术野心转化为真实的生产力，才是这家公司想要的。

一句话就能指挥多台设备，咋做到？

让 Go2 用英语向小车打招呼，再让小车用英语回应。然后让小车播放《YMCA》，Go2 随着节奏跳舞 30 秒。

在现场一段演示里，机器狗 Go2 和机器人小车 Car01 接到了一项共同任务。

一句指令，同时涉及两台设备、多个动作，以及明确的执行顺序和时长要求。系统不仅要理解每一步要做什么，还得协调不同设备，把整件事办完。

Agnes Harness 是怎么拆解这条任务链的？

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

从展示的工具调用记录来看，系统首先调用 list_media 查询音频资源，确认音乐文件存在。

随后分别调用两台设备的 look 功能，读取摄像头画面，检查现场情况。

接着，系统通过 say 功能安排双方用英语打招呼、回应。

问候结束后，小车调用 play_audio 播放音乐，Go2 通过 action 执行舞蹈动作。

每一步操作都会留下相应的工具调用记录，设备的执行状态也随之更新。

还有一个值得注意的细节。

第一段舞蹈结束后，系统发现用户要求的 30 秒时长尚未满足，于是继续发起下一段动作调用。

也就是说，一次工具调用结束，并不意味着整个任务结束。系统还需要对照最初的目标，检查当前进度，再决定下一步行动。

从查找资源、观察环境，到组织对话、协调音乐与舞蹈，Agnes Harness 做的，是把一句自然语言指令转化为一条能够持续推进的任务流程。

这背后的运作逻辑，离不开一套分工明确、协同运作的「人体系统」——

Agnes Harness 由大脑（LLM）、小脑（决策模型）、反射弧（Workflow）、记忆/主动性（Agent Loop）、学习能力（RSI/TTT)、身体（MHS）组成。

以模型能力为基础，Agnes Harness 组织任务与执行流程，通过工具及设备接口连接业务系统和物理设备。

大脑（LLM）负责想清楚要什么。面对用户需求，它要识别任务目标、梳理步骤关系，形成高层行动计划。

小脑负责结构化决策。JEV 模型会结合当前状态和可选行动，做出决策，与大脑分工协作，推动系统根据实际情况跟进任务。

反射弧（Workflow）负责把一连串动作串起来。 复杂任务往往涉及多个步骤，有些需要按顺序执行，有些则可以并行推进。Workflow 将这些环节组织起来，让前一步的结果能够衔接下一步。

Agent Loop 牢牢盯住任务，确保事情持续推进。它维护执行上下文与任务状态，记录哪些操作已经完成、工具返回了什么结果，还有哪些目标尚未达成，并据此决定接下来该做什么。这样，系统就不会因为一次工具调用结束而停下来。

至于机器狗、小车、机械臂这些硬件设备，它们才是负责干活的身体，需要通过统一的接入机制，才能被脑和中枢神经发现和调用。

而承担着连接不同设备的工作的就是 MHS，它负责提供相对统一的接入方式，让上层系统能够发现设备能力、发送执行指令，并接收执行反馈。

当然，任务执行完，经验不能丢。有了学习能力（RSI/TTT），系统也能吃一堑长一智。

现场工作人员告诉我们，为了让整套能力有机会在一个可控环境中接受更为复杂任务的验证，爱思科技还自建了一套虚拟世界沙箱模拟系统。

比如火星救援任务中，面对「宇航员需要救援」这样一句模糊指令，系统需要自行规划行动。

先由无人机升空巡航，定位被困者并探测现场；发现氧气短缺后，再让机器狗搜寻氧气瓶，最后由运载小车将物资送往指定位置，完成补给。

这里的重点，不是某一台设备能完成多少动作，而是不同设备能否围绕共同目标分工，并根据任务进展衔接下一步行动。

当然，仿真中的表现能否迁移到真实环境，还需要进一步验证。

现在任务完成了，留下的经验还能干什么？它们能不能变成系统自我成长的养料？

「双进化」智能系统：AI 还能越干越聪明

答案是，能！而且是一套「双进化」智能系统——系统层的递归自我改进（RSI），以及模型层的测试时训练（TTT）。

前者改进智能体「怎么干活」，后者探索模型「怎么从经验中学习」。

两条路线分别作用于系统和模型，共同指向一个目标：让 AI 不只完成任务，还能根据执行结果持续改进。系统优化与模型学习，从此不再各走各的。

展台上播放的《王者荣耀》画面中， AI 正在指挥英雄对局。

游戏窗口下方，团队计划与各英雄的行动选择同步呈现，哪些英雄继续发育，哪些守塔，什么时候推进，什么时候撤退，都有对应的决策记录。

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

这里分明延续了前文的分工：LLM 负责分析战局、规划整体策略，JEV 参与具体行动决策，执行代码将选择转化为游戏操作。Agnes Harness 负责组织整个任务流程，并为后续迭代保留执行记录。

有意思的是，一局打完之后，教练模型会读取对局记录，检查关键决策与执行结果，再尝试修改策略提示词、决策选项或相关代码，并通过后续测试检验效果。

相关技术报告中，就有一个很直观的例子：英雄明明血量健康，却因为频繁选择「撤退」，一直待在基地。针对这个问题，系统调整了相关行为逻辑，让英雄在安全后返回线上，同时修改指挥提示词。

这里要划个重点：这条路线改的是模型周围的策略与执行机制，而不是直接训练模型参数。

整个过程可以概括为：

执行对局 → 复盘结果 → 修改策略与代码 → 测试新版本 → 将有效改进用于后续对局。

这也是 RSI 的核心思路：改进后的策略继续参与下一轮任务，产生新的执行记录，再为下一轮改进提供依据。

技术报告显示，在针对游戏内置 Bot 的测试中，1v1 最佳策略的胜率从约 3% 提升至 90%；另一组独立的 3v3 实验经过三轮 RSI，胜率达到约 60%。

而现场大屏显示，5v5 实验经过五轮 RSI，胜率已经达到 100%。接下来就是系统和自己对战，继续进化。

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

除了游戏，另一块大屏还展示了蛋白质结构预测案例，将候选结构生成、评审与后续探索组织成可追踪的自动化流程。

如果说 RSI 改进的是任务执行机制，那么机械臂仿真实验展示的，就是模型本身如何利用经验实时更新参数。

画面中，机械臂反复尝试把红色方块放入目标盘。看似简单的搬运动作，需要完成对齐、抓取、抬升、移动、释放和撤离等多个环节。

每次执行产生的动作结果与模型版本信息，都会被记录下来，为后续学习和评估提供依据。

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

演示中，Agnes Embed TTT 会利用机械臂执行任务时积累的经验，调整模型中负责决策的部分参数。模型原有的主体部分保持不变，重点训练的是负责判断「下一步该怎么做」的决策模块。

通俗地说，就是不必从头训练一个新模型，而是让模型在一次次尝试中积累经验，逐渐学会在不同情况下做出更合适的动作选择。

比如，机械臂抓取失败或执行过程中停滞，这些记录就能帮助系统发现问题。训练完成后，新版本还要经过任务测试，确认表现达到要求，才会投入后续任务。

从执行任务、积累经验，到调整模型、测试效果，AI 就这样一步步尝试从「做过」中学到「下次怎么做得更好」。

但如果模型更新后，任务表现仍不理想，该怎么办？

据工作人员介绍，系统会先训练模型，再评估其表现是否达到上线要求。如果达到要求，就启用更新后的模型，沿用现有 Harness；如果仍未达到要求，进一步优化 Harness，尝试细化任务拆解，重新采集机械臂运动轨迹，再进行训练与评估。

这里有个关键细节：Harness 的调整不仅影响任务怎么执行，还会影响后续训练数据怎么产生。

任务如何拆解、动作如何衔接，会影响机械臂经历哪些状态、留下怎样的运动轨迹。调整执行流程后，系统可以重新运行任务，收集新的样本，为下一轮模型更新提供材料。

据工作人员介绍，Agnes Embed TTT 正在探索加快这一过程，模型迭代最快可达到 30 分钟至 1 小时一轮。

不过，要让这套能力走进更多业务现场，还需要回答另一个问题：换一套设备、换一个流程，这些执行与改进经验还能复用多少？

从机器狗到企业业务：AI 落地还差几步？

爱思科技正在探索以全模态模型为基础，通过一套可复用的运行框架，把模型能力接入具体业务。

展示区里的一个订单退款演示，就把这套机制呈现得更加直观。

用户给出订单数据和退款规则，系统就能逐一检查订单状态、发货时间等信息，判断哪些订单符合退款条件，并把判断结果和原因整理成表格。

看起来只是查一遍订单，实际上，AI 需要先读取数据，再按照规则逐一判断，最后整理出结果。Agnes Harness 要做的，就是把这些步骤串起来，让任务能够顺着流程跑下去。

不过，现实中的任务并不总像订单审核这样，有一套明确的规则和步骤。

比如机器人在执行任务时，有时往往需要同时处理多项工作，有些任务也很难事先规定好每一步该怎么做。这恰恰是传统具身智能系统长期面临的难题。

在与天创机器人的合作中，Agnes Harness 就承担起了机器人「具身大脑」的角色，尝试解决过去传统具身领域没能很好解决的问题：面对多任务协同，以及那些无法依靠固定流程完成的工作，如何让机器人根据任务要求组织步骤、协调不同能力，并让整个执行过程可靠地运转起来。

视频链接：https://mp.weixin.qq.com/s/rYfjPpjrTMHRPkcxHhWwIw

从订单退款到机器人执行任务，场景虽然不同，但背后需要解决的是同一类问题：如何让 AI 根据任务要求，组织不同步骤、调用相应能力，最终把事情做完。

如果想让 AI 完成更多工作，开发者还可以给它接入不同的工具和插件，把常用的工作方法整理成可重复使用的 Skills，再搭配相应的操作界面。这样，从查询订单到处理更复杂的业务，就能在已有基础上逐步扩展，不必每次都从头开发。

在产业场景中，这种组合意味着更多可能。

例如，厂区巡检可以由机器狗承担移动观察与信息采集，再将异常情况反馈给上层系统；在物料配送场景中，智能小车可以承担物资检索、运输与配送；无人机编队可以尝试将自然语言描述的目标图案，转化为具体的编队动作。

当然，从演示走向真实业务，并不是接通设备就结束了。设备能做什么、任务如何拆解、异常怎样处理、结果如何验收，都需要结合具体场景逐一验证。

这也是 FDE（前线部署工程师）所承担的工作：深入客户现场，理解需求，通过系统集成、流程适配、测试验证与持续迭代，推动智能体应用交付使用。

工程师可以在 Agnes Harness 上接入业务工具、整理任务方法、配置岗位界面，再结合现场的数据、流程与权限要求，验证应用能否满足实际需求。

更重要的是，一次交付的成果，有机会成为下一次交付的起点。

经过验证的工具可以封装为插件，成熟的任务方法可以沉淀为 Skills，岗位界面也可以复用。进入新项目后，工程师再适配当地的业务规则、设备接口与权限要求，重新完成测试和验收。

至此，从模型能力到智能体执行，再到物理设备接入与行业交付，爱思科技串起一条完整的 AI「入世」路径。

模型能力之外，还想让更多人用上智能体

逛到展台另一侧时，已经不只是智能体框架，还有面向不同场景的产品。

PAVO 面向 AI 短剧与内容创作，尝试串联从剧本到成片的制作流程；爱思办公则聚焦企业办公，整合多种模型与专业工具，支持文档处理、多步骤任务执行，并强调本地部署与数据安全。

一个做视频，一个做办公，看起来和机器狗、机械臂没什么关系，底层逻辑却相通：把模型、工具与工作流程组织起来，让 AI 真正参与具体任务。

展台上的黑客松，则把这套思路延伸到了开发者生态。参赛选手基于 Agnes Harness 开发应用，也意味着这套开源框架不只服务于爱思科技自己的产品，还希望成为更多开发者构建智能体的基础。

从模型到 Harness，再到具体应用与开发者生态，爱思科技想打通的，是一条将模型能力转化为实际工作成果的链路。逛完展区，回头看「万物共脑」，也更清晰了。

当然，从「看起来很聪明」到「真正能干活」，这场仗不好打。但爱思科技正走在探索前沿，试图把模型能力一步步变成真实生产力。

毕竟，让技术走出实验室、把能力做进产品、再把应用铺进千行百业——这场硬仗，或许才是中国科技公司真正有机会打出优势的地方。