网易首页 > 网易号 > 正文 申请入驻

字节团队发现DeepSeek抽风真相:一个藏在压缩算法里的周期性Bug

0
分享至

你用AI时有没有遇到过这种情况——同样一个问题,用DeepSeek处理一段长文档时,有时候它能精准找到你要的答案,有时候却像换了个人似的,怎么都找不到关键信息?这种“时好时坏”的“抽风”现象,困扰了不少用户。

最近,字节跳动的Seed团队在论文预印本平台arXiv上提交了一篇研究,揭开了这个谜团,原来答案藏在一个叫“相位敏感性”的技术问题里。


为什么AI处理长文本会“抽风”?

要理解这个问题,先得知道大模型处理长文本时的一个核心难题:内存开销。

当AI阅读一篇长文章时,它需要把每个字词的信息都临时“记”在一个叫KV缓存的地方。文章越长,这个缓存就越大,占用的计算资源也越多,就像你的手机同时打开几十个App会变卡一样。

为了省内存,研究者发明了一种“压缩”办法:不再逐字记录,而是每隔固定距离,把连续的一小段内容“打包”成一条记录。打个比方,原来是一页纸记一个字,现在是一页纸记一句话,省了不少空间。

但问题就出在这个“打包”上。


“相位敏感性”:同样的信息,换个位置就找不到了

字节团队发现,这种压缩方式引入了一个新的坐标——每个字词相对于“打包边界”的位置,研究人员把它叫做“相位”。

这个“相位”的影响有多大呢?团队在DeepSeek-V4-Flash、DeepSeek-V4-Pro等多款模型上做了测试,结果发现了一个系统性的不对称现象:同样一条信息,放在某个位置时AI能轻松找到,但仅仅挪动几个字,AI就像瞎了一样完全找不到。


更惊人的是,在采用这种压缩方式的大模型中,不同“相位”下的长文本检索准确率差距可以高达40个百分点。也就是说,如果运气不好,AI找到答案的概率可能从90%暴跌到50%。

团队把这种随位置周期性变化的检索能力缺陷称为“相位敏感性”。

为什么这个发现很重要?

这个研究揭示了一个容易被忽视的问题:我们平时看AI的评测分数,往往看的是一个“平均分”。但“平均分”可能会掩盖这种周期性的弱点——就像一个人考试平均分80,但实际上有的章节考100,有的章节考20。

这意味着,当你问AI一个问题时,它能不能找到答案,可能不完全取决于问题本身,还取决于你问的方式、文档的格式、信息出现的位置。这些看似无关的细节,可能恰好让关键信息落在了AI的“盲区相位”上。

字节Seed团队的这项研究,相当于给大模型的“抽风”现象找到了一个明确的病因。对于普通用户来说,这也提供了一个实用启示:如果你发现AI在长文档里找不到某个信息,不妨试着换个问法,或者调整一下信息的呈现位置,也许就能绕开那个“相位盲区”了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员王凯:“我全唱别人的歌开什么演唱会”

演员王凯:“我全唱别人的歌开什么演唱会”

韩小娱
2026-10-21 08:43:36
美国政府扣留“爱国者”导弹,泽连斯基:乌克兰面临开战来最艰难局面

美国政府扣留“爱国者”导弹,泽连斯基:乌克兰面临开战来最艰难局面

澎湃新闻
2026-10-20 09:10:28
金与正警告,“必将招致严重灾祸”

金与正警告,“必将招致严重灾祸”

中国新闻周刊
2026-10-20 14:03:11
暗流已经出现?苏联当年的颠覆套路再现中国,接连怪事更值得警惕

暗流已经出现?苏联当年的颠覆套路再现中国,接连怪事更值得警惕

補懂事的孩紙
2026-10-16 11:58:16
闹大了!“别的家长都能来,就你没来”,愤怒家长硬核回怼老师,对话截图流出,引轩然大波

闹大了!“别的家长都能来,就你没来”,愤怒家长硬核回怼老师,对话截图流出,引轩然大波

火山詩话
2026-10-18 16:49:02
青回一幕?布朗助飞詹姆斯空接暴扣后怒吼,现场对比詹韦连线

青回一幕?布朗助飞詹姆斯空接暴扣后怒吼,现场对比詹韦连线

懂球帝
2026-10-21 09:23:13
越南少将阮德辉晚年曝出内情:当年中国军队之所以能安然撤离,并非越军胆怯、不敢追击,而是黎笋暗中下达一道密令。黎笋发现了什么?

越南少将阮德辉晚年曝出内情:当年中国军队之所以能安然撤离,并非越军胆怯、不敢追击,而是黎笋暗中下达一道密令。黎笋发现了什么?

人生录
2026-10-14 00:53:28
李小冉亲口把离婚原因摊在综艺里了。

李小冉亲口把离婚原因摊在综艺里了。

陈意小可爱
2026-10-20 15:33:54
现在不是涨养老金的问题,是如何解决10年过渡期遗留的不公平问题

现在不是涨养老金的问题,是如何解决10年过渡期遗留的不公平问题

游文刀
2026-10-21 00:22:37
难以置信!网传重庆网红呆呆去年一夜狂赚400万,如今筹备杀猪宴引热议,网友调侃,“去年杀猪宴,今年杀猪盘”

难以置信!网传重庆网红呆呆去年一夜狂赚400万,如今筹备杀猪宴引热议,网友调侃,“去年杀猪宴,今年杀猪盘”

火山詩话
2026-10-20 08:09:49
富商刘銮雄女儿刘秀盈贺24岁生日,港大建筑系硕士毕业,笑容超甜美

富商刘銮雄女儿刘秀盈贺24岁生日,港大建筑系硕士毕业,笑容超甜美

可乐谈情感
2026-10-21 01:29:13
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
绝版往事!卫生部八大顶级医科名校:曾经撑起中国半壁医学江山

绝版往事!卫生部八大顶级医科名校:曾经撑起中国半壁医学江山

华庭讲美食
2026-10-21 01:56:18
驻日武官王庆简:潜伏在日本20年,出卖了无数军情,没料到最后竟被一个老习惯断送了性命

驻日武官王庆简:潜伏在日本20年,出卖了无数军情,没料到最后竟被一个老习惯断送了性命

磊子讲史
2026-09-16 18:16:40
黄磊带黄多多外出交际!多多谈吐落落大方,一旁袁弘看得挪不开眼

黄磊带黄多多外出交际!多多谈吐落落大方,一旁袁弘看得挪不开眼

观鱼听雨
2026-10-18 23:51:08
共享电动自行车进入北京

共享电动自行车进入北京

王二哥老搞笑
2026-10-21 04:29:46
OD:金球奖颁奖典礼突发变数!一位顶级热门球员确认缺席?

OD:金球奖颁奖典礼突发变数!一位顶级热门球员确认缺席?

胖龙的日常
2026-10-20 13:47:13
刘恺威被曝与32岁黎纪君恋爱,本人回应:很合得来

刘恺威被曝与32岁黎纪君恋爱,本人回应:很合得来

墨羽怪谈
2026-10-21 07:59:38
194比41狂胜153分!中国篮坛又现夸张比分:全场进0三分太奇葩了

194比41狂胜153分!中国篮坛又现夸张比分:全场进0三分太奇葩了

篮球快餐车
2026-10-21 06:28:52
复出打了2场球,40岁霍华德再次宣布退役,3月他首次宣布退役

复出打了2场球,40岁霍华德再次宣布退役,3月他首次宣布退役

懂球帝
2026-10-20 14:08:11
2026-10-21 10:20:49
极客网 incentive-icons
极客网
科技使能新商业
3155文章数 2647关注度
往期回顾 全部

科技要闻

马斯克确认SpaceX与特斯拉讨论合并

头条要闻

牛弹琴:菲政客嚣张炒作要驱逐中国大使 中方没有客气

头条要闻

牛弹琴:菲政客嚣张炒作要驱逐中国大使 中方没有客气

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

日赚近5亿的长鑫,股价却跌掉了15000亿

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

健康
亲子
数码
教育
军事航空

痘痘能根治吗?皮肤科医生说实话

亲子要闻

少年向前跑

数码要闻

戴尔CEO预警:2027年内存短缺情况将进一步恶化

教育要闻

四年级简便计算:88÷28×77

军事要闻

特朗普狠批泽连斯基"不想结束战争" 泽连斯基强硬回怼

无障碍浏览 进入关怀版