北京
八月那阵子，我隔几天就刷一次 LongMemEval-V2 的榜单，看我们的提交有没有上榜。每次刷出来都是“coming soon”。刷到后来我干脆不看了，转头去做别的事。
十月十八号，我在准备另一个榜单的提交，顺手又点开看了一眼。结果我们就在那儿：Perpetual Recall V3，小规模组第二名。
Git 记录显示，这条提交的日期是八月九号。也就是说，我们上榜已经两个多月，只是自己一直不知道。
这里要更正八月那篇文里的一句话。我当时写“我们没有确认的名次”。不是没有名次，是我们刷榜的时候没刷到，结果早就在那儿了，只是我们不知道。所以这次不算一次新的跑分，只是把已经做完的事，补上一个它最终落在哪里的交代。
榜单到底在测什么
LongMemEval-V2 测的是一套记忆系统能不能从智能体的历史记录里，把有用的证据找出来，交给另一个读者去回答问题。它的榜单衡量两项：准确率，以及记忆查询的延迟。
十月十八号我们查看时，小规模组有三个计分条目，按 LAFS Gain 排序。第二名指的是 LAFS Gain，也就是这个基准用来衡量“相对其参考准确率—延迟前沿改进了多少”的指标，不是准确率第二。
另外两个条目答对的题都比我们多。但它们的记忆查询要花两分钟以上，我们的查询不到两秒。这个时间只算收集证据，不算生成最终答案。
这正是我们一直在押的方向：让记忆取回的东西更有用，同时不让智能体为它等上几分钟。准确率的差距是真实的，速度的优势也是真实的。这个基准的合成指标给了这种取舍一个上榜的位置，我们的工作拿到了一个，我为此高兴。
把几次跑分理清楚
榜上列出的是我们八月八号那次跑分：53.2%。不是上次提到的 56.98% 那次更新，那次更新始终没有出现在榜上。
还有一处描述要收紧。上次我把 54.32% 那个版本称作“没有任何面向读者的文本”。更准确的说法是：它会做一次前提检查，当它找不到支撑问题所假设内容的依据时，会补一段简短的证据说明。这种情况在 451 道题里出现了 44 次。它返回的其他内容，都是检索到的记录内容、代码计算的摘要，以及经过核验的引文。这个区别应该记在案。
更高的分数是另一个问题
上次我还提到过一次 65.41% 的跑分，带一个固定的 grounding header。我没有拿它去主张榜单名次，因为这个 header 是在告诉读者该怎么使用这些证据，我想让基准的维护者来判断这算不算在范围内。
八月我们给他们发了邮件，两个版本都发了，也问了这个问题。十月十八号，我们又通过官方表单把两个版本都提交了：
- 65.41%：带 grounding header 的版本，逐字披露。
- 54.32%：不带这个 header 的版本。
每份提交都写清楚了最终到达读者手里的到底是什么。我们请他们裁定哪个在范围内，就发布哪个。目前还没看到裁定结果。结果出来，不管是什么，我都会公开。
Muninn 那边也在继续。我其实就是在准备它的提交时，才决定再刷一次 LongMemEval-V2 的。那是另一个榜单，我们错过了它的截止日期。现在已经申请了下一轮，在等密钥，好先跑一次冒烟测试再提交。承诺不变：只要有了分数，不管多少，都写在这里。
眼下这次更新简单得多。我们上榜了，只是过了好一阵才发现。还好又看了一眼。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
