北京
分享至
Cohere 的 RCP-nDCG 指标被拿出来讨论了一圈。这家公司的回应很直接：模型在通用 nDCG@10 测试里，性能依然强劲。
事情的起点是对基准测试方法论的潜在质疑。RCP-nDCG 是 Cohere 用于鲁棒比较的专有指标，外界关心的点在于，用自家指标说话，和用行业公认的标准指标说话，结论会不会不一样。
Cohere 的澄清给出了两个层面的信息：
- RCP-nDCG 的定位是鲁棒比较的特定措施，不是唯一衡量口径；
- 包括 Embed 5 Fast 在内的模型，在标准 nDCG@10 指标下同样保持强劲性能。
换句话说，专有指标和通用指标在这家公司的模型上并没有出现打架的情况。对关注向量嵌入评测的人来说，这个回应至少把"只挑对自己有利的指标"这类疑虑挡了回去。
指标之争在 AI 评估领域不算新鲜事。厂商自研指标往往针对特定场景优化，而 nDCG@10 这类被广泛认可的指标，承担的是横向对比的角色。Cohere 这次把两套口径摆在一起说，等于承认了后者的参照价值。
Embed 5 Fast 被单独点名，说明这款模型是这次讨论的焦点之一。至于它在 nDCG@10 上具体跑出什么数字，这条回应没有展开。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
