北京
10月9日，据“界面新闻”报道，字节跳动Seed团队今年9月底在预印本平台arXiv提交论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，直指DeepSeek长上下文“时灵时不灵”的技术根因。
论文揭示了一个反直觉现象。研究人员让DeepSeek-V4-Flash-Base补全一段FP8量化函数代码，正确答案是8。他们在代码前加了一段纯装饰性文档字符串，里面放着重复的等号，然后调整等号数量——代码本身没改、正确答案没改。结果，当填充长度模4余数为0或1时，模型倾向于错误答案32；余数为2或3时，则给出正确答案8。整个过程以4个Token为周期反复横跳。
研究人员进一步在128K长上下文检索测试中验证。他们构造约1.6万个键值对，重点调整目标信息相对于压缩窗口边界的位置。结果显示，DeepSeek-V4系列准确率曲线呈现明显周期性起伏。其中DeepSeek-V4-Flash-Base不同位置最大准确率差距达40.2个百分点，DeepSeek-V4-Pro-Base达34.8个百分点。经过后训练，DeepSeek-V4.1-Flash-0910的差距缩小至6.1个百分点，但周期性依然存在。
问题根源在于DeepSeek-V4采用的分块KV缓存压缩技术。该技术以固定步幅将连续Token窗口压缩为更少缓存条目，降低长上下文推理的内存和计算成本，但引入了一个新位置坐标：Token的相位，即其相对于压缩窗口边界的位置。团队将这种检索性能随相位周期变化的现象命名为“相位敏感性”。
研究人员从零预训练了一族Transformer，在多种KV压缩设计下均复现了相位敏感性，排除了偶然因素。机制分析显示，不同注意力头对不同源相位的信息检索贡献不对称，模型内部形成了“相位专门化”。
论文指出，平均基准分数可能掩盖这种周期性弱点，评估采用分块KV缓存压缩的模型时，必须跨压缩相位分别测量。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
