四木专访｜星尘智能副总裁王佳楠：做一款世界动作模型，让机器人落地家庭

过去几年，人形机器人在展会上抢镜，靠的往往是行走、奔跑、跳舞，或者越来越接近人类的外形和动作。

但到了今年，这类展示的魅力已经大打折扣。

在刚过去的 WAIC2026 上，200 多家机器人企业带来了 300 多台真机，大部分都干起了实际的活。

我在现场也看到了不少身兼多职的“机器人员工”。比如我一直关心的绳驱路线代表 —— 星尘智能的人形机器人，既在药房分拣药品、又在零售店里取货、还在展台做导览员。

模型端，星尘智能也有最新动作。WAIC 开幕前两天，它发布了隐式世界动作模型 Lumo-2 ，一次性公开了22项针对家庭场景的真机演示。

我看到这些演示里，除了做咖啡、泡茶、叠衣服这些相对熟悉的家务，还有一些更精细更需要思考的动作，比如颠锅给煎蛋翻面，给礼盒系蝴蝶结，两台机器人一起组装盒子，以及接住一颗从高处滚落的小球。

*Lumo-2 帮助机器人调酒

*做咖啡

*拉行李箱

*接小球

这些很多都是非常精细的、家庭场景下的长程任务。

在家庭场景里，机器人遇到的环境更不可控：杯子可能不在昨天的位置，鸡蛋会滚，水会洒，拉链可能卡住，做到一半还可能有人走过来临时改变要求。这些都需要机器人时刻判断自己身处的环境，并做出最恰当的反应。

这正是星尘智能发布的 Lumo-2 想解决的问题。

Lumo-2 是“隐式世界动作模型”，也是少见的、针对家庭场景的 WAM（世界动作模型）。

星尘智能的模型负责人、副总裁王佳楠告诉我，解决机器人的动作生成问题，是机器人公司最核心的命题，基于这个目标，星尘智能在自家第二代模型 Lumo-2 的研发上，选择了隐空间 WAM 路线。

关于具身大模型的技术路线，去年大家押注 VLA，今年能够预测机器人行动的 WAM 吸引更多关注。隐空间，是其中被积极尝试的一条路线。

与直接生成图像、文字等显性内容的方案不同，隐空间 WAM 把物理相关的世界状态编码到隐空间中，集中处理真正与动作相关的物理变化，不需要把未来画面的每一个细节都生成出来，因此目标更直接，也能节省算力。

Lumo-2 的技术论文显示，在未见物体的泛化抓放测试中，它的任务成功率约为82%，π0.5 和 Fast-WAM 分别约为41%和27%。在22项真机任务的分类评测中，三者在长时序执行上的平均任务进度分别约为81%、28%和20%。

“机器人模型需要关注的是，哪些信息能够真正、高效地指导动作。隐空间路线只需要编码与动作相关的物理状态，比如执行某个操作时，物体应该产生怎样的位移，当前动作可能产生什么物理后果。”王佳楠解释，这些信息更加稠密，能直接服务于动作生成。

构建隐式世界动作模型，难点之一是对齐空间中的不同模态。

Lumo-2 为此特地采用了三阶段渐进式的训练方式，这也是这款模型的一个关键设计。

简单来说，这三步的第一步是让模型把动作与世界的变化对应起来；第二步是接入 VLM 模型，让动作继续与视觉、语言对齐；最后再把机器人操作数据、人类第一视角视频和通用视觉语言数据放到一起训练。

这样做的好处，是让模型把问题拆开学，先学清楚“动作会造成什么结果”，再把动作和语言对齐让它知道人的命令指的是什么，避免机器人因为各种模态搞不清而执行不好任务。

同时，这种训练方式也更稳定，更容易利用不同来源的数据。

技术报告中的线性探测给出了一组侧面证据：直接使用 DINO 特征识别动作语义，准确率为 84.10%，加入第一阶段动作表征后为 92.85%，第二阶段语义对齐后为 95.00%。

它说明经过这个渐进式的过程，机器人的动作逐渐变得更容易按 pick、place、twist、pour 等行为区分。

这次和 Lumo-2 模型一起出现的，还有一个名叫 Philia 的物理 AI 共生智能体。

如果说 Lumo-2 负责搞定“这件事具体怎么做”，Philia 处理的是它前面和后面的事情，包括理解家庭里用户想要什么，过去说过什么，家里有哪些机器人，以及这一次应该把任务交给谁。

用户可以通过微信、飞书或者语音与Philia 交流。它会保存用户偏好和任务历史，也能把不同机器人组织起来，让它们成为同一个智能助理的不同“身体”。

Lumo-2、Philia，再加上星尘智能一直在做的绳驱机器人本体，组成了这家公司所说的“AI模型—具身OS—机器人本体”三层体系。

这套路线最终指向家庭里的 Personal Robot。

“我们希望做的是 Personal Robot，而个人机器人未来很大一部分时间都会在家庭里与人长期共存，为人提供持续的帮助。”王佳楠说。

借着 Lumo-2 和 Philia 发布的机会，我和王佳楠聊了聊世界动作模型路线的选择、长时序任务的难点，以及机器人真正走进家庭之前还要补上哪些能力。

以下是本次对话的精选部分。

机器人在隐空间里“预测未来”

Q：之前星尘发布了 Lumo-1。Lumo-1 已经可以理解指令、生成动作，为什么还要做 Lumo-2？

王佳楠：从 Lumo-1 到 Lumo-2，对我们来说是一次比较大的迭代，主要体现在三个方面。

第一，提升动作建模和操作精度。

我们对动作 tokenizer 进行了较大的升级，进一步提升了机器人的操作精度。因此在这一代模型中，我们能够完成更多高精度任务，例如系蝴蝶结、手打咖啡时的上粉和卡扣操作等等。

这些任务对动作精度要求很高，需要模型对动作本身具备更细致、更准确的建模能力。

第二，从显式规划升级为隐空间中的未来推演。

Lumo-1 会进行较多的显式推理和规划。我们会比较明确地告诉机器人：为了完成一项任务，应该按照哪些步骤思考；目标物体位于什么位置；在当前状态下，手应该如何移动。

这是一种很强的先验。它有点像在机器人还是“小宝宝”的时候，明确地教它每一步应该怎么做。这种方式在早期很有效，但也比较死板和固定。

面对系蝴蝶结等复杂任务时，很难事先规定每一步应该关注什么、如何一步步思考。这会限制模型的可扩展性。同时，显式规划对训练数据的要求也很高，需要投入大量人力和精力，为每项任务构建完整的思维链和操作步骤。

因此，出于可扩展性的考虑，我们将这套方式升级为 Lumo- 2 对未来状态的隐空间推演。模型不再完全依赖人工编写的固定步骤，而是根据当前状态预测未来的物理变化，并据此生成动作。隐空间推演也更加高效，能够同时兼顾推理能力和执行速度。

第三，原生兼容不同模态、不同来源的数据。

Lumo-2 的框架可以原生兼容多种模态的数据。除了机器人的真实操作数据，我们还可以使用大量人类操作视频和异构数据，学习物理变化及操作行为的本质。

这意味着，模型可以从不同来源的数据中学习与操作相关的通用知识。到了下游微调阶段，我们可以采用更容易获取的数据，快速适配新的场景和任务，从而降低数据采集成本，提高模型的迁移能力和扩展效率。

Q：Lumo-2 所说的“预测未来”，具体预测的是什么？世界模型又对这次机器人基座模型的研发带来哪些启发？

王佳楠：具体来说，模型的输入包括当前状态和历史状态。Lumo-2 真正预测的，是从当前状态到未来状态在隐空间所需要发生的变化，也就是隐空间中的“状态变化量”。

这个概念听起来比较抽象，如果把它还原到画面中，可以理解为：模型要预测当前画面应该发生怎样的变化，才能到达目标状态。

这种预测对动作生成具有很强的指导作用。

模型会关注与物理操作有关的信息，包括物体的运动模式、位姿和位移变化，以及手与物体的接触状态等。它会先在隐空间中推演“希望世界发生什么变化”，再通过动作实现这种变化。

这样做的意义在于，机器人生成的每一个动作，都是从一个合理且符合目标的未来状态反推出来的，而不再只是视觉、语言与动作之间的直接映射。

传统 VLA 模型根据视觉和语言直接生成动作，很多时候更接近于记忆训练集中见过的轨迹，再从中选择一条相似的轨迹执行。

Lumo-2 增加了一个更高层的目标：机器人之所以生成某个动作，是因为它希望把当前环境推进到某个状态。这样做，当环境发生变化时，模型也能根据目标重新生成和调整动作，而不是机械复现原来的轨迹。

世界模型近一年多来受到很多关注，它带给我们的核心启发是：机器人智能的重要组成部分，是物理常识以及对未来的推演能力。如果机器人未来要长期与人共存，并具备更高水平的智能，它就需要理解真实世界中的物理规律，也要能够预测自己的动作会带来什么结果。

因此，我们希望把两种能力结合起来。

一方面，保留 VLM 从互联网数据中获得的知识，例如咖啡是什么样子、水是液体、水会流动，以及操作不当可能对周围环境和物体造成什么影响；另一方面，引入世界模型的推演能力，让这些知识能够进一步指导更加灵活的动作生成。

Q：Lumo-2 隐空间预测的状态变化，是否对应位移、力等具体物理量？模型最终输出的又是什么？能否用煎鸡蛋举一个例子。

王佳楠：理论上，隐空间确实对应着一些物理信息。不过隐空间存在一个特点：我们很难把里面的每个维度准确解码成某个明确的物理量。

物体位移的变化一定会包含在里面。至于力的信息，因为模型当前的输入中并没有力传感数据，所以大概率不会直接包含力。

现阶段，模型主要还是根据视觉等观测模态，预测接下来应该发生怎样的变化。因此，隐空间中重点包含的，是物体的位移、姿态以及一些柔性状态的变化。

从模型的输入和输出看，Lumo-2 最终输出的仍然是动作 Token。我们对动作 Token 的生成方式进行了一些优化，可以并行输出不同动作维度的 Token，一次生成更多动作信息。这些动作 Token 随后会被解码成机器人能够直接执行的物理控制量。

以煎鸡蛋为例，假设鸡蛋当前位于锅的中间，模型判断这个位置不利于完成颠锅翻面，那么它会先预测一个更合适的未来状态：让鸡蛋向锅的前方或者顶部移动一点，以便后续把它颠起来。

确定这个目标状态后，模型再反推动作：为了让鸡蛋移动到那个位置，机器人的手可能需要向下调整锅的角度，让鸡蛋沿着锅面滑过去。也就是说，它先预测鸡蛋应该到达哪里，再生成能够实现这种状态变化的动作。

*这次任务均在 Astribot S1 上采用相应的 task post-training

Q : 隐空间是WAM里热门但难度高的路线，这次星尘为什么选择隐空间路线？

王佳楠：可以回到做模型的初衷。我们做的是机器人，而机器人最终需要与物理世界交互并执行任务。因此，对我们来说，动作生成是最核心的问题之一。

目前大家更熟悉视觉和语言模态，动作模态则经常被视为附属品，要么是在 VLM 上增加一个动作输出，要么是从视频生成模型中延伸出动作能力。

但我们更希望以终为始，从机器人最终需要执行动作这一目标出发，思考动作应该基于哪些信息产生，以及动作模态应当如何与视觉、语言等其他模态进行对齐。

因此，我们在选择技术路线时，不会局限于现有的通用路径，也不是因为已有某种方案，就顺着这套方案继续做。我们更关注的是：为了让机器人真正完成物理操作，我们究竟应该如何设计模型。

隐空间世界模型确实是一条比较难的路线，因为它不像像素级世界模型那样，直接生成一幅未来画面。但我们认为，机器人真正需要的是物理推演能力，而不是画面生成能力。模型需要关注的是，哪些信息能够真正、高效地指导动作。

像素级视频生成的计算量很大、延迟较高，并不适合机器人的实时闭环控制。而且，人类在推演未来时，也不会完整地在脑海中生成每一个像素。

我们更关注事物的本质，例如物体将如何运动、动作会产生什么后果，以及接下来应该如何操作，而不会把有限的算力和精力用在还原所有画面细节上。

从理论和原则上，像素级生成并不是机器人闭环控制的最优选择。隐空间路线只需要编码与动作相关的物理状态。例如：

• 执行某个操作时，物体应该产生怎样的位移；

• 机器人的姿态应该发生怎样的变化；

• 哪些未来状态与当前任务相关；

• 当前动作可能产生什么物理后果。

这些信息更加稠密、紧凑，能够直接服务于动作生成。

目前，Lumo-2 采用的就是非像素级的隐空间推理。相较于像素级方案，其计算量至少减少了一半。与此同时，我们还改进了自回归解码方式，使动作解码效率提升了约 2.7 倍，从而更好地支持机器人的实时闭环控制。

总体而言，像素级画面生成是一条计算投入较高、推理耗时较长的路线。而我们更关注机器人操作的本质，从环境中抽象出真正与动作有关的信息，把算力和模型能力用于预判物理后果，而不是生成一幅完整、好看的未来画面。

Q：隐空间世界模型的难点之一是表征对齐。Lumo-2 是怎么做的？

王佳楠：是的。像素级视频生成的一个优势，是生成结果可以直接被人看到和理解，尽管其中包含大量冗余信息。

隐空间世界模型的难点确实在于，如何获得一种稳定、有效的未来状态表征，也就是如何学习一个合适的 representation。对于机器人来说，我们还需要约束模型，让它重点关注与物理交互相关的信息。

比如，一幅画面中可能存在大量背景像素，但这些背景细节对当前操作并不重要。模型不仅要识别出哪些信息不重要，还要理解为什么它们不重要，并把注意力集中在即将被操作的物体及其相关状态上。

Lumo-2 最核心、也是最难解决的问题，仍然是如何在隐空间中完成有效的物理推理。

这里面有两个主要难点。

第一个难点，是如何构建一个真正有用的隐空间。这个隐空间不能只对视觉信息进行压缩，还需要保留与机器人操作有关的物理信息，能够表达物体状态及其未来可能发生的变化。

第二个难点，是如何让隐空间中的未来状态与机器人的动作对齐。我们构建隐空间的最终目的，是生成可以执行的动作。但未来物理状态、机器人动作、视觉和语言分别属于不同模态，它们的表达方式并不相同。模型需要在这些模态之间建立对应关系，让它们能够相互查询、相互引导。

为了解决这个问题，我们在 Lumo-2 的训练中采用了渐进式的模态对齐方案。

模型不是一开始就把视觉、语言、未来状态和动作放在一起训练，而是逐步建立不同模态之间的关系，让隐空间中的物理变化最终能够对动作生成产生有效指导。

整体来说，我们获得这个隐空间最终是为了产生动作。未来的物理变化是一种模态，动作是一种模态，语言和视觉也是不同模态，所以最难的事情在于让它们建立对齐关系，能够互相查询，同时还要保证隐空间本身对控制有用。

长时序任务：要让机器人记得自己做到哪

Q：Lumo-2 采用隐空间世界动力学之后，在计算成本和长时序任务上会带来哪些提升？

王佳楠：计算成本的降低是比较自然的结果，因为模型不需要生成完整的未来画面。除此之外，隐空间预测也会让长时序任务执行得更加稳定。

家庭任务通常包含很长的动作序列。人们在日常生活中可能意识不到这一点，但对于机器人来说，每一个步骤都是一次挑战。随着任务不断推进，机器人需要记住的信息越来越多。如果始终保存大量原始画面，不仅成本很高，也不容易长期维护。

因此，我们希望把与任务相关的信息压缩成文本，或者更加紧凑的隐空间表示。当信息以更紧凑的方式被表达后，模型就能维护一种更长期、更高效的记忆状态。

机器人会更清楚自己此前做过什么、当前进行到了哪一步，以及接下来应该做什么，从而提高长程任务的稳定性。

除了对未来进行预测，我们还在动作编码器中加入了历史动作记忆，让模型更明确地知道自己刚刚执行过哪些动作。

这个逻辑是，在长时序任务中，机器人可能会多次遇到视觉上几乎相同的状态，但在不同的任务阶段，它应该采取的动作并不一样。只看当前画面时，模型很难判断此刻应该执行动作 A 还是动作 B。加入历史动作信息后，它就可以根据此前的操作判断当前进度，更快地缩小动作选择范围，减少由相似画面带来的感知混淆。

例如，机器人给煎蛋撒胡椒时，仅从当前画面中它很难记得自己已经拧了几次胡椒瓶。如果模型没有记忆，可能会一直重复拧胡椒的动作，因为每一次动作后的视觉画面都非常相似，它不知道自己此前已经做过这件事。

加入历史动作记忆后，模型能够区分第一次、第二次和第三次操作，知道自己已经执行了多少次，从而在合适的时候停止，继续完成后面的步骤。

Q：跨模态对齐为什么能够减少示范数据，并支持跨本体迁移？

王佳楠：我们做了大量验证后发现，完成跨模态对齐后，无论数据来自人类视频，还是不同的机器人本体，只要它们表达的是同一种操作，就会被映射到隐空间中相近的区域。

比如，人用手拧旋钮、不同机器人用各自的机械臂拧旋钮，具体的手臂结构和动作轨迹可能完全不同，但模型会把它们识别为同一种“旋转”动作模式。可以把这种稳定的动作模式，理解为一个可复用的“原子动作”。

这意味着，当我们增加一个新任务或换一台新机器人时，模型不需要从头学习。它可以先在隐空间里找到过去学过的相似动作，再用少量新数据适配这台机器人的具体执行方式。像 Ego4D 这样的人类第一视角操作视频，也可以用来帮助模型学习这些通用动作。

所以，跨本体迁移并不是完全不需要新机器人的数据，而是不必再为“每项技能×每种机器人”的组合重复采集大量示范。模型可以复用已经学到的动作模式，从而降低新任务和新本体的训练成本。

Q：关于 Lumo-2 的训练数据，我们是怎么构建的？

王佳楠：训练数据主要由两部分构成。

第一部分是用于保留和增强模型物理知识的互联网数据，包括通用问答、图像理解以及物体属性判断等内容。比如，识别一张图片里不同物体的位置，判断哪些东西可以食用，以及理解物体之间的基本关系。

第二部分是来自不同数据源的视频和动作数据，包括不同机器人本体的操作数据、我们自己的机器人数据，以及互联网上大量的人类行为视频。

Lumo-2 此次使用的训练数据总体达到了万小时级别。我们也很关注模型的 Scaling 表现，即随着数据规模扩大，模型性能能否持续、稳定地提升。

因此，我们设计 Benchmark 不只是为了衡量模型架构迭代带来的能力变化，也希望观察数据量增长能够带来多大的性能提升，以及模型是否已经接近某个能力跃迁的节点。

Q：要同时利用人类视频和不同机器人的数据，训练方法上有什么具体的Know-how？

王佳楠：这得益于 Lumo-2所采用的 Latent Action Tokenizer。它在训练过程中，重点学习视觉状态如何变化，以及这种变化与动作之间的对应关系。

这样的设计天然能够兼容不同机器人本体的数据。即使是没有机器人动作标签的人类视频，也可以用来训练模型对未来状态变化的预测能力。

换句话说，人类视频不需要提供与机器人完全一致的关节角度或动作轨迹，也能帮助模型理解，执行某种操作之后，物体和环境会发生怎样的变化。

不过，将不同来源的数据放在一起训练时，仍然需要进行一些基础对齐。不同机器人在动作维度、执行速度和视频帧率等方面可能存在较大差异，而模型最终要部署在我们自己的机器人本体上，因此需要把这些数据调整到相对统一的表达方式和执行节奏。

整体来说，核心并不是把人类动作直接转换成机器人的动作，而是先从不同数据中学习共同的视觉变化和物理规律，再根据具体机器人的本体条件生成可执行的动作。

那些没有动作标签的人类视频，主要告诉模型未来变化应该怎样发生。例如手碰到杯子后，杯子会被拿起；绳子受到拉动后，形状会改变。它不会被当成机器人的连续控制信号。

带动作标注的机器人轨迹则把视觉变化与动作反馈配起来。这两类数据的角色不同：没有标签的人类视频提供未来变化，机器人轨迹提供动作监督。

Q：机器人把任务做成了，也可能只是记住了相似轨迹。怎样确认隐空间里的预测确实发挥了作用？

王佳楠： 不能只看最后的成功或失败。我们还会检查中间结果、未来推演和可视化，通过 probing 看模型设计与下游任务有没有脱节。

失败样例也很重要。整个执行过程的视觉观测和动作都会被保存，再与成功样例对比，寻找从哪里开始偏离。比如咖啡机手柄没有卡进去，原因包括抓取姿态、对准过程、摄像头是否看清卡合状态，以及模型有没有学到最后卡合瞬间的重要性。

这些原因目前还需要算法人员结合具体任务逐项排查。世界模型提供了更完整的分析对象，但它没有自动消除失败归因的难度。

Q：Lumo-2 论文中说机器人生成动作 Token，有2.71倍提速？它能直接转化成更低的机器人使用成本吗？

王佳楠： 我们对自回归动作解码做了改进，可以并行输出部分动作维度，速度大约提升 2.7 倍，有利于更及时的闭环控制。

成本还要看整个系统怎样部署。我们会采用快慢系统：端侧的小模型负责高频、顺滑的执行，追求智能上限的大模型可以放在云端，供不同用户异步调用。自回归解码轮次减少、推理时延降低，也会影响端侧算力和云端调用成本。

走进家庭，机器人还需要一个“总管”

Q: 去年底发布的 Lumo-1 与 Lumo-2 将如何配合？Lumo-2 会完全替代 Lumo-1 吗？

王佳楠：Lumo-1、Lumo-2，包括我们正在研发的 Lumo-3，其实都在持续升级。目前来看，它们各自有更擅长的部分。

Lumo-1 更擅长处理指令明确的任务，具备较强的文本解析和意图理解能力。比如，用户对机器人说“我渴了”，它会根据当前环境进行推理，判断视野中哪些东西可以饮用。

Lumo-2 则在动作重建、跨模态对齐和未来状态推演方面进行了升级，因此更擅长与物理推理相关的任务，以及长序列操作。

同时，我们采用的 tokenizer 能够支持高精度、复杂动作的生成，所以对于精度要求较高，或者需要机器人自主完成多个步骤的任务，Lumo-2 会更加适合。

Lumo-1 和 Lumo-2 都可以与 Philia Agent 配合，由 Agent 根据不同任务进行调度，并在模型能力之上叠加更强的规划和推理能力。

Q：这次为什么选择家庭场景？这个场景判断模型真正有效的合理标准是？

王佳楠：家庭场景对模型来说非常困难，但也是一个很理想的验证场。

家庭环境天然存在很多不确定性：物品种类很多，摆放位置各不相同，操作过程中还可能发生各种意外；与此同时，许多家务本身就是长时序任务，每一个步骤都可能给模型带来新的挑战。但这些恰恰是我们希望解决的问题，所以家庭是检验模型能力非常合适的场景。

这也与公司的目标相契合。

我们希望做的是 Personal Robot，而个人机器人未来很大一部分时间都会在家庭里与人长期共存，为人提供持续的帮助。因此，我们自然会把家庭作为重点关注和验证的场景。

至于如何判断模型做得好不好，可以分成两个层面。

第一个是应用层面。

比如让机器人制作咖啡，它不仅要能够把任务完成，还要能够持续、稳定地完成。当咖啡豆或咖啡粉的位置发生变化，或者操作过程中出现干扰和意外时，它仍然知道应该去哪里寻找物品，并继续把任务做完。这种在变化环境中的稳定性和连续性，是很重要的判断标准。

第二个是模型层面的验证。

如果我们声称模型具备对未来物理变化进行推演的能力，就不能只看最终任务有没有完成，还要检查模型中间的预测结果，判断这些结果是否准确、是否真正对后续动作产生了指导作用，并据此继续迭代模型。

这件事其实很难。

因为模型的技术设计与后续评测有时会出现脱节，可能研究者认为某项设计在理论上是正确的，但究竟该通过什么任务、什么中间指标证明它有效，并不容易。如果下游任务设计得不好，或者没有对模型的中间状态进行足够的探测，就可能出现模型训练目标与实际能力验证不一致的问题。

Q：除模型外，星尘智能此次还发布了物理 AI 共生智能体 Agent Philia，是星尘智能“具身OS”重要组成部分。可以举例解释 Philia 的功能吗？

王佳楠：Philia 要处理的是持续交互和模糊需求。用户说“我渴了”，这句话里没有饮料名称、位置和执行步骤。Agent 可以读取长期记忆，知道用户偏爱无糖可乐，也知道饮料通常放在厨房的小冰箱，再选择距离合适、具备开门和抓取能力的机器人。

任务下发后，机器人本地的控制策略负责走到冰箱、开门和取物。如果它发现无糖可乐已经没有了，执行结果会回到 Agent，由它重新规划，或者问用户是否愿意换一种饮料。整个过程是一个闭环，不是一句话被翻译成一条固定轨迹。

Philia 也不绑定某一台机器人。用户面对的是同一个 Agent，Agent 根据位置、能力和状态选择执行者，目前最多接入过三台不同机器人。

Philia 目前重点面向的是普通用户和开发者。

普通用户可以直接问机器人会做什么。在具体场景中，遇到复杂任务，Agent 先尝试用已有能力规划；能够完成时，它会说明准备执行哪些步骤并请求确认；无法完成时，它要解释缺少什么能力、物品或观测条件。

面向开发者，我们希望新的模型或控制策略能够便捷接入，并通过自然语言启动。举个很实际的例子：研发人员下班后担心机器人忘了断电，可以远程询问它是否在线、查看当前观测，再让机器人执行下电。

设想中的商业场景包括多机协同。

例如零售机器人发现货架上的商品售罄，Agent 可以把补货任务交给仓库机器人，并追踪执行状态。交互层、Agent 控制层和机器人网关彼此解耦，更换界面、模型或本体时，不需要把整套系统从头重做。

Q：从用户和 Philia 说话到机器人真的行动，中间会经过哪几层工作？它和机器人是怎么协作的？

王佳楠： Philia 分成三层。

第一层是用户交互层，接收聊天消息、语音、App 或网页请求。第二层是 Agent 控制层，负责长期记忆、意图理解和任务规划，选择机器人与控制策略。第三层是机器人网关，它最靠近本体，承接具体执行、回传状态，并负责高频物理控制和安全把关。

每个机器人能做什么，会通过一份能力清单提供给 Agent，包括某个策略适用的条件、需要哪些输入、会返回什么结果。Agent 决定“该调用哪个能力”，本地模型和控制器处理“关节具体怎样动”。

Q：Philia 和 Lumo-2 的两套系统里都讲“记忆”。它们的异同是？

王佳楠： 用途不同。

PHILIA 的长期记忆围绕用户和任务，记录偏好、历史对话、语义地点和过去的服务。例如它记住用户喜欢无糖可乐，下一次规划时可以取回这条信息。

Lumo-2 的历史动作记忆只服务眼前这次操作，记录刚才做过什么，帮助模型判断胡椒拧了几次、滴管有没有捏过。一个让 Agent 越来越了解人，一个让动作模型知道任务进行到哪一步。

模型执行长任务时经常出现“画面看着一样，任务阶段不同”的情况。准备鸡蛋时，机器人要拧三次胡椒。每次研磨后的视觉变化很小，只看当前画面，它不知道自己刚才已经拧了几次，就可能不断重复。

Lumo-2 会把一段压缩后的历史动作作为上下文。

当前画面告诉它“胡椒研磨器还在手里”，历史动作再补充“这个动作已经完成两次”，模型才有条件判断下一次该继续还是停止。透明滴管也有类似问题：里面的液体看起来没有明显变化，机器人需要借助刚才是否捏过滴管来判断下一步。

我们加入历史动作信息，让模型不必只靠当前画面判断任务进度。这里的记忆服务于眼前这次操作，与 Philia 记录用户偏好的长期记忆用途不同。

Q：从模型、具身OS到机器人本体，星尘智能与其他方案的核心区别是？

王佳楠：模型、具身OS和机器人本体这三个部分，其实都很难做好，但它们分别决定了机器人的不同能力。

模型决定机器人的智能水平。它不仅需要理解任务、进行思考，还要把这些理解转化成能够在物理世界中执行的动作。

具身OS解决的是机器人是否“好用”的问题。

无论对于研发人员还是普通用户，系统都应该提供自然、便捷的交互方式。同时，机器人不是一个完成单次任务就结束的一次性产品，它会长期在人身边，与用户不断发生交互。因此，系统还需要保存这些交互中的记忆，理解用户的习惯和偏好，并让过去积累的信息影响机器人下一次的任务规划和动作执行。

本体决定了机器人能力的上限。

模型最终可以让本体自主产生越来越多的动作，但如果本体自身的灵活性和操作能力受限，一些事情在物理上就无法完成。尤其当机器人的身体结构和人的差异较大时，模型从人类数据中学到的操作方式，也很难直接迁移到机器人上。

这也是我们发展世界模型时的一个重要出发点。Lumo-2 不仅使用机器人操作数据，也会广泛利用人类操作视频。

但人类的动作方式与许多传统机器人或机械臂并不相同。如果机器人的本体能够尽可能复现人的操作模式，那么模型从人类视频中学到的知识，就可以更直接地迁移到机器人上。

所以，我们的核心思路不是分别做好模型、系统和本体，再把它们简单拼在一起，而是让三者从设计之初就相互配合：模型负责提升智能，具身OS负责交互、记忆与持续服务，本体负责把能力真正带入物理世界。

三者共同设计，才能减少人类数据向机器人迁移时的信息损耗，这也是我们的全栈路线比较有优势的地方。

Q：下一步，你最希望星尘的模型和系统提升哪些能力？

王佳楠：下一代基座模型还是会沿着世界模型方向前进，核心升级会来自训练规模的 scaling 突破：现在我们的高质量真机数据在快速积累，加上已经验证成熟的多源数据训练范式，两者结合能把 scaling 效应充分拉起来，下一版会给大家带来不小的惊喜。

我们的目标很明确：做真正的零样本通用能力，不用针对特定任务单独微调，模型到了新场景里直接就能上手做各种事。初期我们不会死磕单任务 100% 成功率，先把「什么任务都能接、每个任务都有基础成功率」的通用底座搭牢，后面再在这个基础上迭代提成功率，就是水到渠成的事。

至于系统，我们希望以后每个人都可以成为开发者。

机器人发现自己不会做一件事，可以请求用户带着它做几次，采集一段示范数据，再尝试学会新的技能。这对模型和整个系统都有很高要求，也是我们努力的目标。

未来理想的交互是，机器人发现自己不会做某件事时，不只是报错。它可以转过来问用户：你愿不愿意教教我？