世界模型的下一步？牛津、NUS团队提出「心智世界建模」MWM：远不止物理世界

当前的世界模型（World Model）能够预测门会怎么开，却无法正确回答“一个人为什么会拒绝开门”。

这是因为，现有世界模型的默认建模对象仍是物体、几何、运动、遮挡、可供性等物理场景，缺少人类用于决定下一步行动的心智（Mental）判断，即“当事人是否知道门后有什么、对说话者是否信任、是否担心失态、是否承担某种角色义务等”。

因此，一个仅追踪物理轨迹的世界模型，对一个“看起来正确”的场景，往往会给出“看起来正确”却实际错误的动作预测。

在这项工作中，牛津大学、新加坡国立大学团队提出了一个名为“心智世界建模”（Mental World Modeling，MWM）的通用理论框架，把信念、目标、意图、情绪、社会规范等心智变量作为世界模型核心组成部分，进而与物理状态联合演化。

论文链接：https://arxiv.org/pdf/2607.27201

如下图，当女孩转身望向别处时，她的杯子被移到了柜子里，仅追踪物体状态的世界模型，在看似正确的场景下会预测出错误的行为（右上）；而同时追踪她的信念的世界模型，则能预测出她实际会采取的行动（右下）。

作为参考实现，他们同时发布了一个训练无关、全程可检视的 MENTIS 基线，并在自建的 Menti-Bench 数据集上对 8 个主流世界模型进行了系统测试。结果显示，显式建模心智状态是预测人类决策的必要条件；去掉心智通道后，8 个模型无一例外地退化。

这项工作的意义在于，它把“心智”从后置的合理性解释变成与物理状态并列的状态变量，并提供了可落地的状态分解、观测渲染、动作分解、联合转移的形式化路径。对于服务机器人、医疗辅助、协作 Agent等“人类相关”场景，这意味着世界模型从“模拟物理场景”迈向“模拟场景中行动着的心智”。

适用于哪些场景？

值得一提的是，心智世界建模并非适用于所有场景。

研究团队写道，“当物理场景不足以决定最优动作，而人的心智状态又会改变行动的合理性、可接受性或结果时，建模成本才是值得的。”

一个实用的判断标准包含三个条件：目标人物看到的状态与全局状态存在差异；心智变量会改变什么行动才算合理或可接受；行动除了物理效果，还带有社会含义。如果其中任一条件不存在，更简单的物理模型或专用任务模型可能是更好的选择。

以下是几个心智世界建模的潜在应用场景。

1.具身协作：进展不只发生在物理世界

在厨房、诊室或共享办公室中，机器人不只是要判断“什么可以移动”。它还要判断：对方是否注意到了自己？某件物品是否在社会意义上可被擅自处理？现在打断对方是否合适？这个动作会被理解为帮助还是施压？

以移动药瓶为例，机器人可能物理上更高效，却因用户不知道药瓶为何被移动，而造成不安全或不信任。协作还要求系统追踪共同进展：门被打开这一事实，并不足以说明后续该做什么；谁为谁打开、对方是否注意到、由此产生了什么期待，都会改变接下来的修复、解释、等待或交还控制权的选择。

2.照护与建议：失误常常不在事实本身

在照护、支持和建议场景里，问题往往不是系统没有检索到正确知识，而是没有理解对方已经明白什么、害怕什么、默认什么，或正受什么社会压力影响。

同一句建议，对患者来说可能是安慰，也可能是责备或强迫；对一位老年人来说，一次提醒可能不只是便利，也可能被感受为自主性被削弱。心智世界建模的作用不是取代专业判断，而是将理解程度、信任、焦虑、义务和依赖等变量明确写入系统的决策状态。

这也意味着更保守的自动化边界：当系统对同意、痛苦感受或责任归属没有足够把握时，合理动作可能不是替人决定，而是询问、暂缓、升级处理，或提供选项。

3.教育与训练：干预的目标是学习者的下一状态

教学中的同一个错误答案，可能来自不同原因：概念误解、注意力分散、对失败的焦虑、猜测策略，或只是暂时没有看见关键信息。仅根据答错这一物理可见结果，很难判断下一步该提示、追问、示范还是等待。

在心智世界建模视角下，教育干预的目标不是立即改变表面答案，而是改变学习者随后的知识、信心、注意与策略状态。系统需要估计对方已经掌握了什么、错在何处、能否接受直接纠正，以及某次提示会带来理解还是依赖。

4.交互式智能体与社会世界：持续性需要心智转移。

大型生成式模型正越来越多地驱动游戏、数字人和模拟社会日常行为的 Agent 社会。这些系统需要的不只是画面的视觉连贯性，数字角色应当记住承诺、隐藏未观测到的信息、对朋友和陌生人做出不同反应，并维持连贯的情绪和规范轨迹。研究团队认为，一个世界之所以令人信服，不是因为画面逼真，而是因为 Agent 的信念、关系和规范能够在反事实分支中保持一致演化

下一步是什么？

需要注意的是，研究团队将心智世界建模定位为研究计划，而非已经完成的架构。

现阶段的重点不再只是证明是否需要显式心智结构，还包括补齐与人类参考之间的分数差距。他们指出，主要瓶颈在于后继状态的转移模拟和状态解析，价值评估仍有较小残余误差，多阶段错误还会相互传递。

同时，未来评估不能只看最终选项是否正确。随着结果分数接近上限，状态是否忠实、目标视角是否无信息泄漏、转移是否合理，都会成为更重要的指标。一个“答对但理由不对”的系统，在输入发生变化时尤其不可靠。

在建模层面，下一步是从数据中学习物理与心智状态转移，并借助反事实样本、人的解释、后续行为及时间一致性进行间接监督。他们强调，不应轻易将这一过程压缩为不可拆解的端到端预测器；物理与心智因素保持可分离，才能分别检查。

此外，系统还需要学会处理不确定性和递归信念。心智状态本质上常是待验证的假设，证据不足时，系统应倾向询问或暂缓，而不是断言最可能的结论。与此同时，“我认为你认为”的嵌套推理不应被无差别展开：多数场景无需复杂层级，但少数错误信念场景又高度依赖它，因此推理深度和计算资源需要按情境自适应分配。

更长远的心智世界建模还必须跨越单步决策。承诺、义务、声誉、共同历史与信任都会随时间累积，评估对象也应从一次选择扩展到完整轨迹：信念是否持续一致，关系是否与真实发生过的事件共同演化。

最后，他们还将安全视为这一方向的内在问题，而非附加条款。能帮助系统理解人的信念、恐惧与可被影响之处的能力，同样可能被用于操纵。因而，心智推断应被视为敏感信息：保持不确定性、限定任务范围、留存记录，并优先询问而非武断判断。

总体而言，心智世界建模的价值，不只是提高一个结果分数，而是让 AI 对“为什么要对人采取这个行动”给出可检查、可质疑的解释。

整理：学术君

如需转载或投稿，请直接在本文章评论区内留言