网易首页 > 网易号 > 正文 申请入驻

PDF表格一进RAG就幻觉?问题出在扁平化

0
分享至

企业里大量知识藏在PDF表格里,但标准RAG(检索增强生成)流水线一碰到它们就翻车。不是模型不够聪明,而是预处理阶段就把表格的网格结构摧毁了——行与列的交叉关系一旦被压成纯文本,LLM看到的只是一串无结构的数值流,幻觉几乎是必然结果。

这篇文章提出了一套诊断框架和五个可组合的操作,核心思路很直接:把表格当作原生结构化数据来对待,而不是装饰性文本。作者认为,正确做法不是把表格作为文本处理得更好,而是在尽可能早的阶段将其恢复为结构化形式,此后一律当作数据处理。


四个表示层级,匹配不同问题形状

作者定义了四个表示层级,让调度器能把结构与实际问题的形状匹配起来。Level A是按行Markdown,足以应对大多数问题——像散文一样叙述的表格,直接从行里检索答案就行。Level B是独立DataFrame,在需要二维操作(比如跨页拼接或列投影)时使用。

Level C把频繁出现、schema稳定的表格提升为可SQL查询的列式存储,支持语料库级问题。Level D则是schema无法规范化时的诚实回退方案。四个层级各有适用场景,调度器根据诊断结果决定走哪条路。

五字段诊断,替代脆弱决策树

诊断系统为每个表格记录五个正交属性:解析质量(完美/部分/失败)、规模(行×列对)、表头状态(存在/缺失/续表)、跨页连续性(独立/自第N页续/延续至第M页)、文档级表格文字比。每个字段单独记录,调度器读取全部五个字段后,幂等地组合操作。

比如一个部分解析+续表+大表格的组合,会依次执行结构重建、多页拼接、问题驱动投影。这种设计避免了脆弱的决策树逻辑,每个字段独立记录,组合方式确定且可预测。

解析器的选择,分量不亚于操作的选择

文章强调了一个容易被忽视的点:同一页面经不同解析器处理后,可能落入完全不同的诊断桶。在《Attention Is All You Need》论文的超参数表格上,Fitz将13列坍塌为3个单元格,而Azure Document Intelligence干净地恢复了全部13列。

这意味着解析器选错了,后续操作再优化也白搭。作者建议先用廉价解析器,仅对困难表格升档——这个策略吸收了操作本会重复完成的工作,避免了不必要的计算开销。

五个可组合操作,覆盖完整升级路径

五个操作都是幂等的,无论以何种顺序组合都安全有效。O1从词级包围盒重建网格,处理部分解析;O2通过表头传播拼接多页续表;O3在检索前根据问题范围对表格进行投影和过滤;O4将频繁表格提升到列式存储以支持SQL查询;O5在万不得已时将表格区域渲染为图像供视觉LLM提取。

O5被刻意保留为高成本回退方案——只有当其他操作都失败时才启用。这种分层设计让系统在大多数情况下走廉价路径,只在真正困难时升级。

真实案例:从NIST到世界银行

文章用真实案例验证了这套框架。NIST网络安全框架PDF和世界银行CMO表格都展示了不同层级的处理效果。像"财产险的免赔额是多少"这样的问题,直接从Markdown行获取答案,像任何其他行一样检索、引用——混合内容文档中的大部分表格到这里就结束了。

这套方案的核心价值在于:它承认表格是布局产物而非数据结构,但拒绝接受"扁平化是唯一出路"的现状。通过诊断驱动操作组合,在最合适的抽象层级保留表格结构,让RAG系统在表格场景下也能给出可靠答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
凯迪拉克新车官宣:9月7日,正式上市!

凯迪拉克新车官宣:9月7日,正式上市!

科技堡垒
2026-09-04 10:43:30
内分泌科主任:糖尿病最危险信号,不是口渴,是频繁出现这5异常

内分泌科主任:糖尿病最危险信号,不是口渴,是频繁出现这5异常

健康之光
2026-09-05 18:00:03
神经内科专家提醒:这6种不舒服其实是脑梗,千万别大意,速看!

神经内科专家提醒:这6种不舒服其实是脑梗,千万别大意,速看!

医学科普汇
2026-09-05 18:05:08
即将通航!自治区主席乘船调研

即将通航!自治区主席乘船调研

政知新媒体
2026-09-05 00:47:46
穆里尼奥看走眼!皇马绝对核心灾难拉胯!全场隐身成输球头号罪人

穆里尼奥看走眼!皇马绝对核心灾难拉胯!全场隐身成输球头号罪人

澜归序
2026-09-05 08:17:21
悲催!网传厦门一知名医院陷欠薪风波:百余名员工被拖欠3个月工资,有人在网上发帖哭诉

悲催!网传厦门一知名医院陷欠薪风波:百余名员工被拖欠3个月工资,有人在网上发帖哭诉

火山詩话
2026-09-05 11:55:16
冯德莱恩又给中国下最后通牒!限时1个月,不答应条件就要下狠手

冯德莱恩又给中国下最后通牒!限时1个月,不答应条件就要下狠手

白哥全球事
2026-09-04 15:52:53
郑大一附院连续三任院长落马,此前还有原副院长王家祥被“双开”,原药学部主任受贿超2500万获刑11年

郑大一附院连续三任院长落马,此前还有原副院长王家祥被“双开”,原药学部主任受贿超2500万获刑11年

都市快报橙柿互动
2026-09-04 23:33:36
中国还会出现第2个毛主席吗?外国专家曾说:天才出现具有偶然性

中国还会出现第2个毛主席吗?外国专家曾说:天才出现具有偶然性

乌克兰小静
2026-09-05 08:10:07
A股:中午突发三大消息,不出意外下周一,A股或迎更大震荡行情?

A股:中午突发三大消息,不出意外下周一,A股或迎更大震荡行情?

股侠指北针
2026-09-05 11:41:23
何嘉炜含泪发文!爱妻龚爽病逝,结婚八年每天当纪念日

何嘉炜含泪发文!爱妻龚爽病逝,结婚八年每天当纪念日

橙星文娱
2026-09-05 12:45:00
何勇去世:近年饱受疾病困扰,在红磡“麒麟跳”成经典,张克芃、刘元、郭传林等已相继离开

何勇去世:近年饱受疾病困扰,在红磡“麒麟跳”成经典,张克芃、刘元、郭传林等已相继离开

南方都市报
2026-09-05 10:15:56
美媒:为了应对中国“歼-36”,日本执意将GCAP做得异常庞大,拉高整体造价

美媒:为了应对中国“歼-36”,日本执意将GCAP做得异常庞大,拉高整体造价

零度Military
2026-09-03 15:23:07
郭涛儿子落榜!被迫上北电国际班,一年学费12万,上完学至少80万

郭涛儿子落榜!被迫上北电国际班,一年学费12万,上完学至少80万

寒士之言本尊
2026-09-04 19:27:54
新一轮人口大迁徙定了?中国未来超一半人,大概率会流向这些区域

新一轮人口大迁徙定了?中国未来超一半人,大概率会流向这些区域

兵卒史
2026-09-05 20:18:09
充电器开始"看脸色"了?140W快充用表情告诉你速度

充电器开始"看脸色"了?140W快充用表情告诉你速度

碳基打工人
2026-09-04 18:56:56
他接受纪律审查和监察调查

他接受纪律审查和监察调查

锡望
2026-09-04 11:50:20
阿尔特塔与球员的冲突:从厄齐尔到马丁内利,多数已离队

阿尔特塔与球员的冲突:从厄齐尔到马丁内利,多数已离队

绿茵狂热者
2026-09-04 16:27:21
胡锡进发声!批评武大处理“付磊和曾梦琪”事件,处理得太慢了!都有经验了,也有教训了,处理事情还这样拖泥带水

胡锡进发声!批评武大处理“付磊和曾梦琪”事件,处理得太慢了!都有经验了,也有教训了,处理事情还这样拖泥带水

火山詩话
2026-09-05 06:23:06
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
2026-09-05 20:44:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
264文章数 71关注度
往期回顾 全部

头条要闻

菲副总统莎拉最新发声:我会被杀 我不信任法院、警察

头条要闻

菲副总统莎拉最新发声:我会被杀 我不信任法院、警察

体育要闻

科比和勒布朗:冠军年份的背身

娱乐要闻

她曾被名导抛弃,凭《生逢其时》翻红

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

科技要闻

华为何庭波,再次更新韬定律论文

汽车要闻

全新第四代博越Li‑HEV系列 怎么开都省

态度原创

旅游
手机
时尚
家居
军事航空

旅游要闻

沪上这一新晋打卡点 浓缩了苏州河120年的记忆

手机要闻

华为Mate XT 2首发硬件级防窥屏:独立RGB像素驱动 不影响显示素质

推广中奖名单-更新至2026年8月25日推广

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

俄罗斯建"粉碎大日本帝国"纪念碑 日本急了

无障碍浏览 进入关怀版