塞进更多历史图像，成功率反降10.4个百分点

把更多历史画面塞进上下文，成功率反而掉了。浙江大学OmniAI团队在固定800条样本上做了一组对照实验：两种设置都保留完整文本历史和当前图像，扩展设置再加入上下文预算允许的尽可能多的历史图像。结果平均成功率从36.6%降至26.2%，下降10.4个百分点。

代价同样直观：每条样本平均输入tokens从41,770增至206,489，约为原来的4.9倍；每步模型延迟从4.1秒增至39.1秒，约为原来的9.5倍。原始历史的堆积替代不了有效记忆，关键在于找回任务相关证据、更新过时状态、抑制无关信息。

这个反直觉的结果，来自一个更基础的问题：具身智能体到底需要怎样的记忆？设想家庭机器人刚在茶几上看见一本书，去厨房完成几项任务后接到取书指令，却又开始挨个房间搜索；它已经试过一个打不开的抽屉，过一会儿还是回到同一个抽屉前反复尝试。对人来说，「记得东西放在哪里」「知道它后来被挪走了」「记住哪些办法行不通」都是基本能力，对具身智能体却仍是难题。

团队先分析了Gemini-3-Flash和Qwen3-VL-32B在EmbodiedBench的EB-ALF、EB-Hab上的100条失败轨迹，四类与具身记忆相关的问题合计占到91%：

• 忽略细粒度视觉线索（35%）：目标曾出现在画面里，模型没记住位置，后续只能反复搜索。
• 遗漏环境状态变化（18%）：物体已被移动或处理，模型仍依据旧状态行动。
• 未记录交互反馈揭示的状态（31%）：抓取是否成功、环境的隐藏状态，需要从行动结果中确认并记住。
• 未能迁移过去的经验（7%）：示范或纠正已给出线索，换一个对象后模型仍犯同样的错误。

这些现象指向具身记忆的特殊要求：有些信息只在某一帧短暂出现；有些记忆要随环境变化被更新；有些状态必须通过交互才能发现；还有些经验需要从具体事件中归纳，再迁移到新对象。「抽屉打不开」不一定能从一张图像判断，它需要一次尝试和相应反馈；「餐具应该放在这个抽屉」也不是位置的简单记录，而是多次纠正共同表达的规律。

为此，团队提出EmbodiedMemory-Bench（EMem-Bench）：每条样本提供一段按时间排列的多模态交互历史，再给出一个后续任务，智能体需要从历史中找回关键证据，并在仿真环境中执行导航、打开容器、拿取和放置等动作，直到达到任务要求的终态。基准围绕四种记忆需求设置四类任务：

1. 被动观察：考察能否保留执行其他任务时偶然看到的细粒度视觉信息，并在后续任务中找回相关物体位置。目标可能混在多个物体中，观察时也尚不知道它之后会被需要。
2. 动态跟踪：考察能否随物体位置或状态变化持续更新对环境的认识。一本书先在床上，后来被放进盒子，最后移到书桌上，智能体应依据最新位置寻找。
3. 交互失败：考察能否记住行动结果揭示的环境状态与交互限制。一次开抽屉失败揭示了「上层抽屉锁住了」，后续存放钥匙串时需要利用这条反馈，选择可以使用的下层抽屉。
4. 经验泛化：考察能否从多个对象的纠正经历中归纳共同规律，并应用于历史中没有出现过的新对象。过去几次纠正都要求把刀、勺子收进抽屉，面对新出现的叉子，智能体需要迁移这户家庭的收纳习惯。

环境构建上，团队先选择可导航、可交互的多房间环境，再围绕四类任务构造决定后续行动的记忆线索。AI2-THOR的单房间场景被组合成虚拟家庭，智能体离开并返回房间时房间状态会被保留；ProcTHOR则直接提供多房间住宅。随后，规划器在关键线索前后插入与目标无关的交互，拉开线索与后续任务的距离，这些干扰轨迹必须能够实际执行，同时不能触碰关键物体、泄露答案或改变目标任务所依赖的状态。

数据规模上，前三类任务的历史长度中位数为78–83步，经验泛化任务达到111步；各任务族的关键线索与目标任务之间，中位间隔仍有52–56步。被动观察任务的关键画面平均包含11个可见物体。基准覆盖1,118个场景、125种可见物体、83种目标物体和33种容器及承载物，经自动检查与人工审核后最终保留2,554条可执行样本。

在记忆系统一侧，团队提出Embodied-Memorizer（EMem），把具身经验组织成三种互补记忆：场景记忆保存选定的视觉画面、描述和其中识别到的物体，并与所在场景绑定，帮助区分「厨房的杯子」和「卧室的杯子」；空间记忆通过实体图维护物体的位置、关系和属性，书从床上移到书桌后，新的位置关系会替换冲突的旧关系，同时保留其他仍然有效的属性；事件记忆按时间记录行动、结果和纠正，保留「这个抽屉打不开」等交互证据，多次相关纠正还可被归纳成简短规则并关联支持它的原始事件。

整个过程形成「观察—写入—检索—行动—反馈更新」的循环。模型按时间顺序处理历史，每一步依据当前画面、上一动作及其反馈决定写入什么；接到任务后，再依据场景、实体和关系等结构条件筛选，补充文本匹配与必要的语义匹配，把相关证据交给行动阶段。如果动作失败或重要状态发生变化，系统会中断尚未执行的计划，重新查询和规划。团队进一步对Qwen3-VL-8B进行监督微调，得到EMem-8B，围绕「哪些信息值得保存、当前任务该查询什么、如何把检索结果转化为行动」三个决策提供训练。

实验显示，各类模型在四种能力上的表现并不均衡。在full-context设置下，模型获得完整文本历史并在执行时接收当前视觉观察，Gemini-3-Flash以64.2%的平均成功率位居首位，Gemini-2.5-Pro为60.8%，开源模型Qwen3.6-27B为58.2%，GPT-5.4为56.8%。同一个模型的不同记忆能力也可能差距很大：Qwen3-VL-32B在经验泛化上的成功率达到63.1%，动态跟踪只有20.3%。

固定GPT-5.4-mini为骨干时，EMem将平均成功率从35.3%提升到58.9%，增加23.6个百分点；同一比较中其他记忆系统的最佳结果为TeleMem的37.8%，EMem的整体优势达到21.1个百分点。无需任务专门训练，EMem在Qwen3-VL-8B、Qwen3-VL-32B和Mistral-Small-3.1-24B上分别带来10.8、14.1和16.4个百分点的提升。经过记忆操作训练的EMem-8B达到46.0%，比原始Qwen3-VL-8B提高20.6个百分点，比冻结骨干直接使用EMem再提高9.8个百分点。

消融实验支持三种记忆的互补性：完整系统平均成功率为58.9%，移除任一记忆后都降至46.9%–47.9%。其中动态跟踪更依赖空间记忆，交互失败与经验泛化更依赖事件记忆，被动观察更依赖场景记忆。在失败分析中，团队检查了EMem-Bench上GPT-5.4-mini的400条失败样本，每类任务各100条，其中61.3%属于记忆使用错误——模型采取的行动与已有历史证据相冲突；交互失败任务还包含较多上下文推理错误，记住一次失败之后，模型仍需要理解这条反馈并形成新的可行决策。

发布三周左右，该benchmark在Huggingface上的下载量已经接近30,000次。当前结果主要来自仿真环境，未来还需在更长时间跨度、更复杂环境和真实机器人上，检验这些能力面对传感器噪声、执行误差与开放世界变化时的表现。