网易首页 > 网易号 > 正文 申请入驻

PDF表格一进RAG就幻觉?问题出在扁平化

0
分享至

企业里大量知识藏在PDF表格里,但标准RAG(检索增强生成)流水线一碰到它们就翻车。不是模型不够聪明,而是预处理阶段就把表格的网格结构摧毁了——行与列的交叉关系一旦被压成纯文本,LLM看到的只是一串无结构的数值流,幻觉几乎是必然结果。

这篇文章提出了一套诊断框架和五个可组合的操作,核心思路很直接:把表格当作原生结构化数据来对待,而不是装饰性文本。作者认为,正确做法不是把表格作为文本处理得更好,而是在尽可能早的阶段将其恢复为结构化形式,此后一律当作数据处理。


四个表示层级,匹配不同问题形状

作者定义了四个表示层级,让调度器能把结构与实际问题的形状匹配起来。Level A是按行Markdown,足以应对大多数问题——像散文一样叙述的表格,直接从行里检索答案就行。Level B是独立DataFrame,在需要二维操作(比如跨页拼接或列投影)时使用。

Level C把频繁出现、schema稳定的表格提升为可SQL查询的列式存储,支持语料库级问题。Level D则是schema无法规范化时的诚实回退方案。四个层级各有适用场景,调度器根据诊断结果决定走哪条路。

五字段诊断,替代脆弱决策树

诊断系统为每个表格记录五个正交属性:解析质量(完美/部分/失败)、规模(行×列对)、表头状态(存在/缺失/续表)、跨页连续性(独立/自第N页续/延续至第M页)、文档级表格文字比。每个字段单独记录,调度器读取全部五个字段后,幂等地组合操作。

比如一个部分解析+续表+大表格的组合,会依次执行结构重建、多页拼接、问题驱动投影。这种设计避免了脆弱的决策树逻辑,每个字段独立记录,组合方式确定且可预测。

解析器的选择,分量不亚于操作的选择

文章强调了一个容易被忽视的点:同一页面经不同解析器处理后,可能落入完全不同的诊断桶。在《Attention Is All You Need》论文的超参数表格上,Fitz将13列坍塌为3个单元格,而Azure Document Intelligence干净地恢复了全部13列。

这意味着解析器选错了,后续操作再优化也白搭。作者建议先用廉价解析器,仅对困难表格升档——这个策略吸收了操作本会重复完成的工作,避免了不必要的计算开销。

五个可组合操作,覆盖完整升级路径

五个操作都是幂等的,无论以何种顺序组合都安全有效。O1从词级包围盒重建网格,处理部分解析;O2通过表头传播拼接多页续表;O3在检索前根据问题范围对表格进行投影和过滤;O4将频繁表格提升到列式存储以支持SQL查询;O5在万不得已时将表格区域渲染为图像供视觉LLM提取。

O5被刻意保留为高成本回退方案——只有当其他操作都失败时才启用。这种分层设计让系统在大多数情况下走廉价路径,只在真正困难时升级。

真实案例:从NIST到世界银行

文章用真实案例验证了这套框架。NIST网络安全框架PDF和世界银行CMO表格都展示了不同层级的处理效果。像"财产险的免赔额是多少"这样的问题,直接从Markdown行获取答案,像任何其他行一样检索、引用——混合内容文档中的大部分表格到这里就结束了。

这套方案的核心价值在于:它承认表格是布局产物而非数据结构,但拒绝接受"扁平化是唯一出路"的现状。通过诊断驱动操作组合,在最合适的抽象层级保留表格结构,让RAG系统在表格场景下也能给出可靠答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
62岁的任振鹤辞去甘肃省省长职务,曾表态:朝受命、夕饮冰,昼无为、夜难寐

62岁的任振鹤辞去甘肃省省长职务,曾表态:朝受命、夕饮冰,昼无为、夜难寐

江南江南
2026-09-02 21:01:36
在沪日本人谈战犯神社:我们为战败反省,但战犯为日本牺牲是英雄,值得敬仰

在沪日本人谈战犯神社:我们为战败反省,但战犯为日本牺牲是英雄,值得敬仰

世界地缘档案
2026-09-03 08:44:58
她从高烧到去世仅16天,演唱现场复发,后抢救无效37岁离世

她从高烧到去世仅16天,演唱现场复发,后抢救无效37岁离世

调侃国际观点
2026-09-04 02:49:11
震撼!两个孩子制作86页PDF曝光武汉某女教授勾搭自己父亲!

震撼!两个孩子制作86页PDF曝光武汉某女教授勾搭自己父亲!

魔都囡
2026-09-04 02:18:21
篮球世界杯|中国女篮队长陈玉婕是00后

篮球世界杯|中国女篮队长陈玉婕是00后

北青网-北京青年报
2026-09-03 16:21:05
38岁技术总监被辞仅得7万,秒退所有工作群,次日231个未接来电

38岁技术总监被辞仅得7万,秒退所有工作群,次日231个未接来电

磊子讲史
2025-06-21 14:14:16
港媒曝古天乐遭离岸公司入禀!追讨1.49亿元,2年前就曾被追债

港媒曝古天乐遭离岸公司入禀!追讨1.49亿元,2年前就曾被追债

落雪听梅a
2026-09-03 21:22:29
王欣瑜1-2出局,无缘美网32强!中国金花仅剩郑钦文,比赛时间出炉

王欣瑜1-2出局,无缘美网32强!中国金花仅剩郑钦文,比赛时间出炉

侃球熊弟
2026-09-03 07:59:52
中方这次不忍了,导弹锁定菲律宾战机,对方飞行员火速遁逃!

中方这次不忍了,导弹锁定菲律宾战机,对方飞行员火速遁逃!

扶苏聊历史
2026-09-03 15:10:27
四川绵阳市北川县附近发生5.2级左右地震

四川绵阳市北川县附近发生5.2级左右地震

新京报
2026-09-03 19:47:26
何超琼自曝全家凌晨三点吃早餐 无人敢懈怠 章泽天听后满脸错愕

何超琼自曝全家凌晨三点吃早餐 无人敢懈怠 章泽天听后满脸错愕

快科技
2026-09-03 09:02:04
英国公开赛16强产生,赵心童三破百携中国4人晋级,1/8赛对阵赛程

英国公开赛16强产生,赵心童三破百携中国4人晋级,1/8赛对阵赛程

天涯远行人
2026-09-04 03:39:51
老宋昏聩!基隆选举登记大咖云集,宋楚瑜现身力挺赖清德外甥童子玮

老宋昏聩!基隆选举登记大咖云集,宋楚瑜现身力挺赖清德外甥童子玮

三毛看世界
2026-09-03 01:27:15
马竞强留阿尔瓦雷斯!穆里尼奥:到了9月1日就该满意,否则别出场

马竞强留阿尔瓦雷斯!穆里尼奥:到了9月1日就该满意,否则别出场

奥拜尔
2026-09-03 16:52:18
星宇汽车:中国企业裁员,还需要外国企业来批准了?

星宇汽车:中国企业裁员,还需要外国企业来批准了?

辰星杂谈
2026-09-03 11:03:56
俄提议在俄建金砖统一黄金库,中国:黄金不搬家,账上互认更稳妥

俄提议在俄建金砖统一黄金库,中国:黄金不搬家,账上互认更稳妥

有牙的兔纸
2026-09-03 07:11:29
郭晶晶一家新疆旅游,妈妈也来了!霍启刚瘦不少,霍震霆不怒自威

郭晶晶一家新疆旅游,妈妈也来了!霍启刚瘦不少,霍震霆不怒自威

胡一舸南游y
2026-09-03 18:28:26
当不成总统了?80岁特朗普要跑路,白宫掀起下岗潮,万斯还在坚守

当不成总统了?80岁特朗普要跑路,白宫掀起下岗潮,万斯还在坚守

南宗历史
2026-09-03 05:26:02
抗衰老药真的来了?科学家发现4种老药,其中一种很多中国人天天在吃

抗衰老药真的来了?科学家发现4种老药,其中一种很多中国人天天在吃

徐德文科学频道
2026-08-28 17:37:31
游戏结束!荷兰安世接裁决,中方冻结资产,跟特朗普混没有好下场

游戏结束!荷兰安世接裁决,中方冻结资产,跟特朗普混没有好下场

泠泠说史
2026-09-04 02:35:46
2026-09-04 05:40:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
225文章数 71关注度
往期回顾 全部

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

科技要闻

英伟达129亿美元拿下Hugging Face

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

本地
亲子
手机
时尚
公开课

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

亲子要闻

大人刚喝完酒,千万不要去靠近宝宝!

手机要闻

8月性价比最高入门机榜单出炉:摩托罗拉霸榜前2

女人到了60岁衣服少穿大红大绿,试试这些纯色单品,高级又耐看

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版