VideoLoop如何用双循环记忆解决语义抖动

你有没有过这样的经历：读一本厚厚的书，读到第三百页的时候，已经完全想不起来第五十页写了什么。你不停地往前翻，笔记做了一大堆，可是脑子里的东西越来越乱，最后甚至开始怀疑自己刚才到底看懂了没有。

这正是现在的AI视频理解智能体正在经历的困境，只不过它们没法像人一样合上书，揉揉眼睛，泡杯茶冷静一下。

**当AI盯着一小时的视频发呆**

想象让一个AI去看一部一个多小时的纪录片，然后回答一个刁钻的问题，比如"第37分钟出现的那个人物，和开头提到的某个细节有什么关联"。这类问题要求AI在成千上万帧画面里，精准定位几个关键片段，再把它们串联起来推理。

面对这种任务，现在主流的做法是让AI变成一个"侦探"：一步步观察视频的不同片段，每观察一次就把发现记下来，不断积累线索，最后综合所有线索给出答案。这种模式被称为智能体式视频理解。

智能体（agentic system）：让AI模型像人类侦探一样，通过多轮"观察-思考-行动"的循环，自主决定下一步该看视频的哪个部分，而不是一次性把整个视频塞给模型。

这套思路乍一看很合理，可是论文的作者们发现了一个致命问题：AI记笔记的方式，是"只加不减"的。

**记忆越攒越多，反而越用越差**

现在大多数智能体的工作记忆是这样运作的：每观察一次视频、调用一次工具，得到的结果就原样追加到记忆里，从不删除，也不整理。论文把这种记忆方式叫做append-only（只追加）记忆。

追加式记忆听起来省事，实际上藏着一个陷阱。因为不管是人脑还是AI模型，能同时"注意"到的信息量都是有上限的。这个上限在论文里被称为有效上下文容量。

有效上下文容量（effective context capacity）：语言模型虽然理论上能接收很长的文本，但真正能可靠检索和利用的信息量是有限的，超过这个限度，模型对早期信息的注意力会被稀释，这是已有研究反复验证过的现象。

论文用了一个很妙的类比，把这种现象叫做语义抖动，直接借用了操作系统里的经典概念"抖动"。

抖动（thrashing）：这是1968年计算机科学家Peter Denning提出的经典概念。当电脑同时运行的程序太多，物理内存不够用时，系统会疯狂地把数据在内存和硬盘之间来回搬运，结果绝大部分时间都花在"搬家"上，真正干活的时间反而少得可怜，电脑看起来在运转，实际上几乎不出活。

AI智能体的语义抖动是同一个道理。随着观察的视频片段越来越多，记忆越堆越厚，AI找到真正有用证据的能力不但没有变强，反而开始下降。论文的实验数据很直观：一个只追加记忆的智能体，在VideoMME长视频基准测试的最难题目上，最终准确率只有81.9%，可是通过一个"盲测法官"（只读记忆内容、不看视频本身来答题）去检验这份记忆到底有没有留住关键证据，结果发现正确率只有60.9%。这意味着近四成的关键信息，其实已经被淹没在了越堆越多的观察记录里。

这就好比你去超市囤货，家里冰箱从来不清空，只往里塞。三个月后，你压根想不起来冰箱最里层到底放了什么，因为新买的菜、剩饭剩菜、过期的调料全都挤在一起。如果冰箱不能扔东西，只能不停地往里塞，那么早晚有一天，你连今天买的牛奶放哪儿了都找不到，尽管牛奶明明就在里面。

**用数学语言说清楚"抖动"到底是什么**

论文没有停留在直觉层面，而是给出了一套形式化的推导，来证明追加式记忆的缺陷不是偶然的调参失误，而是结构性的必然结果。

设想有一个视频问题q，背后存在一个"理想证据集合"Kq，也就是回答这个问题真正需要用到的所有关键片段。智能体的工作记忆在第t步是Mt，论文定义了一个叫做状态偏离度的指标，衡量Mt和Kq之间差了多少。

状态偏离度（state divergence）：把工作记忆里有但其实不该有的"噪声"内容，加上工作记忆里没有但其实该有的"缺失证据"，两者相加，得到一个数字，这个数字越小，说明记忆质量越高。

论文推导出一个关键公式：当记忆只能追加、不能删除的时候，每一步新增的观察内容，要么带来新的目标证据（让偏离度下降），要么带来无关噪声（让偏离度上升）。问题在于噪声一旦进入记忆，就再也出不去了，因为追加式记忆天生没有"删除"这个操作。于是随着步数增加，噪声只会越积越多，状态偏离度呈现出先降后升的趋势，这正是抖动的数学根源。

这就像一个只会往购物车里放东西、永远不会拿出来的顾客。他一开始放的都是要买的东西，购物车利用率很高。可是逛着逛着，他开始把一些临时觉得"可能有用"其实根本用不上的东西也放进去，车子越来越满，真正要买的东西反而被压在最底下找不着了，而这个顾客还没法把不要的东西放回货架，只能眼睁睁看着购物车越装越乱。

**VideoLoop的解法：让记忆学会"重写"而不是"堆叠"**

搞清楚了病根，作者们对症下药，提出了VideoLoop，一套双循环架构。

双循环架构的核心逻辑其实很朴素：把"探索视频"和"整理记忆"这两件事彻底分开，交给两个不同的角色去做。

外循环由一个策略模型（可以理解为负责"看视频、做决策"的主脑）驱动，它的任务是不断探索视频，调用工具，把每一次观察结果写入一个不设上限的文件系统。

文件系统（filesystem）：这里指的是一个持久化的存储空间，所有观察到的视频帧、生成的字幕、执行过的代码脚本，全部原封不动地保存在这里，永远不删除，相当于一个完整无损的"考古现场"。

内循环则由一个专门的记忆编排器负责，它在外循环每走一步之后就立刻工作一次，任务是从文件系统里挑出和当前问题真正相关的内容，重新改写一份有严格字数上限（论文里设定为32K token）的工作记忆。

这里的关键区别在于，工作记忆不再是"只加不减"，而是真正意义上的重写。编排器可以更新某个段落、追加新内容，也可以直接删掉过时或无关的信息。论文把工作记忆设计成六个固定板块，分别对应视频元信息、叙事理解、带时间戳的证据、时间覆盖情况、行动日志、以及待调查目标，编排器每次都会综合考虑这六个板块之间的联系去做修改，而不是孤立地改某一块。

这套设计的精妙之处在于，它同时满足了两个此前互相矛盾的需求。文件系统保证了没有任何观察会被永久丢失，因为一切都存档了；工作记忆则保证了智能体每次思考时，面对的都是一份精炼、聚焦的信息摘要，而不是越滚越大的雪球。

拿图书馆来打个比方会更清楚。文件系统就像图书馆的完整馆藏，几百万本书一本都不会扔；工作记忆则像你此刻摊在书桌上的那几本参考书。如果没有图书管理员（也就是记忆编排器）帮你及时把用不上的书放回书架、把新找到的关键资料摆上桌，你的桌子很快会被堆成一座小山，你也没法在山堆里找到刚才划线的那句话。而如果压根没有图书馆藏只有桌面，你又会面临另一个问题，一旦某本书被你不小心推下了桌子，这本书里的信息就彻底找不回来了。VideoLoop恰恰同时避免了这两种极端。

论文还给出了一个判断"重写是否值得"的量化条件：只有当一次重写删除的噪声加上补回来的目标证据，大于等于误删的目标证据加上新引入的噪声时，记忆质量才会真正变好。这提醒我们，记忆重写并不是天然正确的，写得不好照样可能帮倒忙，这也解释了为什么论文特别强调编排器需要"主动检索"文件系统里的相关内容，而不是随意瞎改。

**三层存储架构，记忆也要分级管理**

VideoLoop的记忆系统实际上分成了三个层级，而不是简单的两层。

第一层是刚才提到的工作记忆，也就是外循环真正能看到的那份精简摘要，严格控制在32K token以内。

第二层叫压缩清单，这是一份记录了所有历史动作（比如什么时候调用了什么工具、生成了什么查询）的日志，但为了控制体积，超过一定数量的旧记录会被批量压缩成摘要，只保留最近若干条的完整细节。

第三层就是前面提到的那个不设上限的文件系统，存放所有原始视频帧、分析脚本、中间结果。

这套三层设计其实很像企业里常见的档案管理制度。刚处理完的文件放在办公桌上（工作记忆），半年内可能还会用到的文件放进部门档案柜、做了摘要索引（压缩清单），十年前的老档案送进地下仓库但永远不销毁（文件系统）。如果没有中间那层压缩清单当"路标"，编排器每次想找旧证据，就得在浩如烟海的地下仓库里大海捞针，效率会低得离谱。

**实验说话：多个模型上都涨了分**

VideoLoop在三个长视频理解基准上做了测试，分别是VideoMME的长视频子集、VideoMMMU（教育类视频，考察感知、理解、迁移三种能力）、以及LongVideoBench的长视频子集。

用Gemini 3.1 Pro作为底层模型时，VideoLoop在VideoMME长视频上达到88.3%，比原生模型的83.8%提升了4.5个百分点；在VideoMMMU上从84.6%涨到88.8%；在LongVideoBench长视频上从77.7%涨到80.9%。和此前最强的智能体方法相比，优势更加明显，分别领先7.1、10.4、4.5个百分点。

更有意思的是，这套方法不挑模型。论文分别在Gemini 3.1 Pro、Gemini 3 Flash、Kimi K2.5、MiMo-V2-Omni四个不同底座模型上做了实验，全部都获得了正向提升，涨幅从3.5到5.1个百分点不等。这说明VideoLoop不是针对某个特定模型调出来的取巧方案，而是一套通用的、即插即用的记忆管理机制。

|方法设计|VideoMME长视频总分|最难题目组Q4|

|原生单次推理|80.7|69.8|

|只追加记忆的智能体|81.9|70.7|

|双循环重写（无文件系统）|83.3|72.4|

|**完整VideoLoop**|**85.8**|**80.0**|

这张表格里最值得玩味的一行是最后两行的对比。单纯加入双循环重写机制，在最难题目组上只提升了1.7个百分点，可是一旦配上无限容量的文件系统，最难题目组直接从72.4跳到80.0，涨了7.6个百分点。这说明光靠"重写"这个动作是不够的，真正的威力来自于重写时能够回头去查阅完整的历史证据。如果没有文件系统兜底，编排器一旦删错了东西，这些信息就永久丢失了，重写反而可能变成一种冒险。

**代价没有想象中那么大**

很多人可能会担心，多加了一个内循环、多了一层文件系统，是不是意味着要烧掉更多的计算资源和token？论文专门做了一次token开销核算，结果有点反直觉。

只加双循环重写但不接入文件系统的版本，token消耗比追加式基线多了5.2%，主要是因为记忆编排器本身要额外产生大量输出。但是完整的VideoLoop，也就是接上文件系统之后，token总开销反而只比追加式基线多了0.5%，准确率却提升了3.9个百分点。原因在于，文件系统承担了"存档"的职责，外循环不再需要把完整历史一股脑塞进上下文里，输入token反而从58.46万降到了55.9万。

这就好比一个人如果什么笔记都不记，脑子里试图记住所有细节，开会时说话会越说越啰嗦，因为生怕漏掉什么全都念叨一遍；但如果有一本专门整理好的笔记本可以随时翻查，说话反而会更简洁精准，因为不需要靠嘴巴去维持记忆。

论文还观察到一个有趣的行为差异：VideoLoop智能体查看的视频帧数量明显更集中在较低区间，迭代步数也更少，说明它不需要靠"反复看、拼命查"来弥补记忆缺陷。而追加式智能体则常常表现出漫长的拖尾，好像在不断地"再看一眼，说不定能想起点什么"，这恰恰是记忆不可靠导致的低效补偿行为。

**写在后面**

读完这篇论文，最触动我的其实不是VideoLoop本身的架构设计，而是它选择的类比对象。把AI智能体的记忆问题和1968年的操作系统抖动问题放在一起看，这个联系一点都不牵强，因为二者背后是同一个数学结构：当资源有限、又不允许"驱逐"旧内容时，系统迟早会把大部分精力花在维护本身，而不是真正干活。

这让我想到一个更大的问题：现在很多所谓"长上下文"的竞赛，本质上是在假装上下文容量可以无限堆高。但这篇论文用一个相当干脆的公式告诉我们，容量堆得再高，如果没有"删除"这个操作，噪声照样会把有用信息淹没，超大上下文本身并不能替代好的记忆管理机制。这可能是个值得所有做长文本、长视频、长对话智能体的团队都停下来想一想的问题。

还有一点值得单独说说，论文里那个"盲测法官"的设计其实挺巧妙的，它没有直接去问"AI答对了没有"，而是问"如果把AI此刻脑子里的记忆原样交给另一个完全不知情的模型，它能不能靠这份记忆答对"。这种检验记忆质量而非任务结果的思路，或许能推广到很多别的智能体评估场景里，毕竟一个"蒙对了"的智能体和一个"真正记住了证据"的智能体，从最终答案上根本看不出区别，只有翻开它的记忆本子才知道。

如果一个AI能读懂一整部电影，却记不清自己十分钟前看过什么，这种AI到底算不算真正"看懂"了这部电影？

Q&A

Q1：VideoLoop是什么？

A：VideoLoop是一套针对长视频理解智能体的双循环记忆架构，通过外循环负责探索视频、内循环负责重写工作记忆，解决了传统追加式记忆导致的语义抖动问题，在多个长视频基准测试中相比原生模型提升了3.2到5.1个百分点。

Q2：语义抖动具体指的是什么问题？

A：语义抖动是指AI智能体在处理长视频时，工作记忆只能不断追加新观察、无法删除旧内容，导致记忆越积越多，关键证据被稀释，最终检索和推理能力反而随着信息量增加而下降的现象，类比自1968年提出的操作系统抖动概念。

Q3：VideoLoop会不会因为多了记忆重写步骤而消耗更多计算资源？

A：不会明显增加。论文实验显示，完整版VideoLoop的token总开销只比只追加记忆的基线方案多0.5%，因为文件系统承担了历史存档职责，反而降低了外循环需要处理的输入token量，同时准确率提升了3.9个百分点。