网易首页 > 网易号 > 正文 申请入驻

字节团队发现DeepSeek抽风真相:一个藏在压缩算法里的周期性Bug

0
分享至

你用AI时有没有遇到过这种情况——同样一个问题,用DeepSeek处理一段长文档时,有时候它能精准找到你要的答案,有时候却像换了个人似的,怎么都找不到关键信息?这种“时好时坏”的“抽风”现象,困扰了不少用户。

最近,字节跳动的Seed团队在论文预印本平台arXiv上提交了一篇研究,揭开了这个谜团,原来答案藏在一个叫“相位敏感性”的技术问题里。


为什么AI处理长文本会“抽风”?

要理解这个问题,先得知道大模型处理长文本时的一个核心难题:内存开销。

当AI阅读一篇长文章时,它需要把每个字词的信息都临时“记”在一个叫KV缓存的地方。文章越长,这个缓存就越大,占用的计算资源也越多,就像你的手机同时打开几十个App会变卡一样。

为了省内存,研究者发明了一种“压缩”办法:不再逐字记录,而是每隔固定距离,把连续的一小段内容“打包”成一条记录。打个比方,原来是一页纸记一个字,现在是一页纸记一句话,省了不少空间。

但问题就出在这个“打包”上。


“相位敏感性”:同样的信息,换个位置就找不到了

字节团队发现,这种压缩方式引入了一个新的坐标——每个字词相对于“打包边界”的位置,研究人员把它叫做“相位”。

这个“相位”的影响有多大呢?团队在DeepSeek-V4-Flash、DeepSeek-V4-Pro等多款模型上做了测试,结果发现了一个系统性的不对称现象:同样一条信息,放在某个位置时AI能轻松找到,但仅仅挪动几个字,AI就像瞎了一样完全找不到。


更惊人的是,在采用这种压缩方式的大模型中,不同“相位”下的长文本检索准确率差距可以高达40个百分点。也就是说,如果运气不好,AI找到答案的概率可能从90%暴跌到50%。

团队把这种随位置周期性变化的检索能力缺陷称为“相位敏感性”。

为什么这个发现很重要?

这个研究揭示了一个容易被忽视的问题:我们平时看AI的评测分数,往往看的是一个“平均分”。但“平均分”可能会掩盖这种周期性的弱点——就像一个人考试平均分80,但实际上有的章节考100,有的章节考20。

这意味着,当你问AI一个问题时,它能不能找到答案,可能不完全取决于问题本身,还取决于你问的方式、文档的格式、信息出现的位置。这些看似无关的细节,可能恰好让关键信息落在了AI的“盲区相位”上。

字节Seed团队的这项研究,相当于给大模型的“抽风”现象找到了一个明确的病因。对于普通用户来说,这也提供了一个实用启示:如果你发现AI在长文档里找不到某个信息,不妨试着换个问法,或者调整一下信息的呈现位置,也许就能绕开那个“相位盲区”了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普婚外情真被曝光?白宫女发言人新上任首日,竟直呼他是丈夫

特朗普婚外情真被曝光?白宫女发言人新上任首日,竟直呼他是丈夫

温读史
2026-10-21 00:36:59
大陆总攻信号传开!统一风声四起,赖清德狂冲刺,解放军果断亮剑

大陆总攻信号传开!统一风声四起,赖清德狂冲刺,解放军果断亮剑

阿代说事
2026-10-19 16:40:36
韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

陈意小可爱
2026-10-19 01:12:39
医生:高血压最危险信号,不是头晕头痛,而是频繁出现这4种异常

医生:高血压最危险信号,不是头晕头痛,而是频繁出现这4种异常

任医生聊健康
2026-10-19 18:18:27
不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来“大变局”

不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来“大变局”

真正能保护你的
2026-10-20 22:29:06
养路收费要变天?人民日报定调:油车电车都别着急

养路收费要变天?人民日报定调:油车电车都别着急

荷兰豆爱健康
2026-10-20 18:17:44
比新生儿数量跌破800万更可怕的,是生出来的男孩已经越来越多了

比新生儿数量跌破800万更可怕的,是生出来的男孩已经越来越多了

凝水文秋
2026-10-19 16:45:42
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
美专家曾警告:美时代已结束,再过5年中国制造将"统治"全球!

美专家曾警告:美时代已结束,再过5年中国制造将"统治"全球!

梦在深巷aqa
2026-10-11 06:41:22
日足协高层:亚洲杯要么正常举办要么延期,但不会更换举办地

日足协高层:亚洲杯要么正常举办要么延期,但不会更换举办地

懂球帝
2026-10-20 14:08:11
不接受道歉!朱之文回应被举报十几场商演取消:,我也会给他找麻烦

不接受道歉!朱之文回应被举报十几场商演取消:,我也会给他找麻烦

仙味少女心
2026-10-21 01:48:20
阿斯:皇马高层对穆帅回归后的表现失望,德尚或成其继任者

阿斯:皇马高层对穆帅回归后的表现失望,德尚或成其继任者

懂球帝
2026-10-19 22:02:18
2-6,3-6!中国金花不敌前赛会亚军,止步WTA500宁波站女单首轮

2-6,3-6!中国金花不敌前赛会亚军,止步WTA500宁波站女单首轮

全景体育V
2026-10-20 21:21:41
九个玄学真相,让你的运气越来越好

九个玄学真相,让你的运气越来越好

刺头体育
2026-10-20 18:37:29
不出意外,2027年开始,按摩店、足疗店、洗浴店或迎来“大变局”

不出意外,2027年开始,按摩店、足疗店、洗浴店或迎来“大变局”

云霄纪史观
2026-10-20 08:59:58
网络炸锅!上海教授夫妻在养老院孤独离世,无一至亲送别...

网络炸锅!上海教授夫妻在养老院孤独离世,无一至亲送别...

慧翔百科
2026-10-20 08:43:57
比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

元气科技馆
2026-10-10 21:56:30
随着美国17-0 朝鲜6-0 日本5-0,U17世界杯积分榜:中国女足退居第2

随着美国17-0 朝鲜6-0 日本5-0,U17世界杯积分榜:中国女足退居第2

侃球熊弟
2026-10-20 08:56:47
说好丁克到中年又反悔?冯远征自己咽了回去,谭咏麟却换了人生

说好丁克到中年又反悔?冯远征自己咽了回去,谭咏麟却换了人生

夸大其词的说
2026-10-20 15:48:13
终于熬到头!2.1亿顶薪到期,他12年只赢1场季后赛,成烫手山芋

终于熬到头!2.1亿顶薪到期,他12年只赢1场季后赛,成烫手山芋

大西体育
2026-10-20 23:43:54
2026-10-21 02:28:49
极客网 incentive-icons
极客网
科技使能新商业
3153文章数 2647关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

家居
教育
时尚
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

悲哀!16岁男孩沉迷游戏,父亲怒摔手机,儿子多日拒上学,父母花8999元重买手机,才换回孩子上学

秋天穿印花裙真的很有氛围感!不显胖、不呆板,大方又显气质

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普狠批泽连斯基"不想结束战争" 泽连斯基强硬回怼

无障碍浏览 进入关怀版