网易首页 > 网易号 > 正文 申请入驻

PDF表格一进RAG就幻觉?问题出在扁平化

0
分享至

企业里大量知识藏在PDF表格里,但标准RAG(检索增强生成)流水线一碰到它们就翻车。不是模型不够聪明,而是预处理阶段就把表格的网格结构摧毁了——行与列的交叉关系一旦被压成纯文本,LLM看到的只是一串无结构的数值流,幻觉几乎是必然结果。

这篇文章提出了一套诊断框架和五个可组合的操作,核心思路很直接:把表格当作原生结构化数据来对待,而不是装饰性文本。作者认为,正确做法不是把表格作为文本处理得更好,而是在尽可能早的阶段将其恢复为结构化形式,此后一律当作数据处理。


四个表示层级,匹配不同问题形状

作者定义了四个表示层级,让调度器能把结构与实际问题的形状匹配起来。Level A是按行Markdown,足以应对大多数问题——像散文一样叙述的表格,直接从行里检索答案就行。Level B是独立DataFrame,在需要二维操作(比如跨页拼接或列投影)时使用。

Level C把频繁出现、schema稳定的表格提升为可SQL查询的列式存储,支持语料库级问题。Level D则是schema无法规范化时的诚实回退方案。四个层级各有适用场景,调度器根据诊断结果决定走哪条路。

五字段诊断,替代脆弱决策树

诊断系统为每个表格记录五个正交属性:解析质量(完美/部分/失败)、规模(行×列对)、表头状态(存在/缺失/续表)、跨页连续性(独立/自第N页续/延续至第M页)、文档级表格文字比。每个字段单独记录,调度器读取全部五个字段后,幂等地组合操作。

比如一个部分解析+续表+大表格的组合,会依次执行结构重建、多页拼接、问题驱动投影。这种设计避免了脆弱的决策树逻辑,每个字段独立记录,组合方式确定且可预测。

解析器的选择,分量不亚于操作的选择

文章强调了一个容易被忽视的点:同一页面经不同解析器处理后,可能落入完全不同的诊断桶。在《Attention Is All You Need》论文的超参数表格上,Fitz将13列坍塌为3个单元格,而Azure Document Intelligence干净地恢复了全部13列。

这意味着解析器选错了,后续操作再优化也白搭。作者建议先用廉价解析器,仅对困难表格升档——这个策略吸收了操作本会重复完成的工作,避免了不必要的计算开销。

五个可组合操作,覆盖完整升级路径

五个操作都是幂等的,无论以何种顺序组合都安全有效。O1从词级包围盒重建网格,处理部分解析;O2通过表头传播拼接多页续表;O3在检索前根据问题范围对表格进行投影和过滤;O4将频繁表格提升到列式存储以支持SQL查询;O5在万不得已时将表格区域渲染为图像供视觉LLM提取。

O5被刻意保留为高成本回退方案——只有当其他操作都失败时才启用。这种分层设计让系统在大多数情况下走廉价路径,只在真正困难时升级。

真实案例:从NIST到世界银行

文章用真实案例验证了这套框架。NIST网络安全框架PDF和世界银行CMO表格都展示了不同层级的处理效果。像"财产险的免赔额是多少"这样的问题,直接从Markdown行获取答案,像任何其他行一样检索、引用——混合内容文档中的大部分表格到这里就结束了。

这套方案的核心价值在于:它承认表格是布局产物而非数据结构,但拒绝接受"扁平化是唯一出路"的现状。通过诊断驱动操作组合,在最合适的抽象层级保留表格结构,让RAG系统在表格场景下也能给出可靠答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
首尔地铁现辛弃疾诗词,韩网民不满,官方回应

首尔地铁现辛弃疾诗词,韩网民不满,官方回应

自愈小日子
2026-09-03 13:20:40
一公司42人葬身火海,官方提醒:一个差异,带来的就是生死两隔

一公司42人葬身火海,官方提醒:一个差异,带来的就是生死两隔

南方都市报
2026-09-03 22:13:17
百亿资金灰飞烟灭!把公司108个美女当作后宫,丁宁到底有多狠?

百亿资金灰飞烟灭!把公司108个美女当作后宫,丁宁到底有多狠?

潋滟晴方DAY
2026-09-02 15:24:52
美财长嘲讽加拿大:难道他们要把商场里的两艘潜艇开出来对付我们吗?你没法跟一个体量比你大13倍的对手玩以牙还牙

美财长嘲讽加拿大:难道他们要把商场里的两艘潜艇开出来对付我们吗?你没法跟一个体量比你大13倍的对手玩以牙还牙

鲁中晨报
2026-09-01 12:54:54
湖北,一女子与丈夫结婚8年,丈夫刚睡着,女子给情夫发信息:快来,他已经睡了……

湖北,一女子与丈夫结婚8年,丈夫刚睡着,女子给情夫发信息:快来,他已经睡了……

丫头舫
2026-09-01 16:29:16
美以联手打了半年,为何最后谁都没赢,反倒把中东盟友逼得四分五裂?

美以联手打了半年,为何最后谁都没赢,反倒把中东盟友逼得四分五裂?

王晋博士
2026-08-31 16:26:18
原来她是潘粤明现任老婆,小他10岁长相甜美,心胸大不与董洁纠缠

原来她是潘粤明现任老婆,小他10岁长相甜美,心胸大不与董洁纠缠

可乐谈情感
2026-09-04 08:58:07
凯奇向漫威宣战:别想绕过我拍《恶灵骑士》续集

凯奇向漫威宣战:别想绕过我拍《恶灵骑士》续集

3DM游戏
2026-09-03 21:47:20
社区免费体检没人去?真相不是老人糊涂,是怕得明明白白

社区免费体检没人去?真相不是老人糊涂,是怕得明明白白

偷喝一口奶
2026-08-31 08:26:56
男子肚子疼被诊断为胃癌,医院瞒着当事人和家属切除整个胃,化验结果却显示没有癌细胞……法院判了

男子肚子疼被诊断为胃癌,医院瞒着当事人和家属切除整个胃,化验结果却显示没有癌细胞……法院判了

深圳晚报
2026-09-04 08:37:38
男子自驾撞上羊群致53只羊死伤,赔偿8.48万元后羊却归羊主人所有,律师解读:赔了钱,羊为什么不能带走?

男子自驾撞上羊群致53只羊死伤,赔偿8.48万元后羊却归羊主人所有,律师解读:赔了钱,羊为什么不能带走?

环球网资讯
2026-09-04 09:18:05
武汉大学女教授与导师不伦之恋的瓜

武汉大学女教授与导师不伦之恋的瓜

笔杆论道
2026-09-04 09:17:32
电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

社会日日鲜
2026-09-03 11:00:32
9月3日俄乌最新:基辅街头枪战的根本原因

9月3日俄乌最新:基辅街头枪战的根本原因

西楼饮月
2026-09-03 21:30:20
家长群炸锅!家委会要用班费给老师订晚餐,有人直接硬刚:要搞你们自己搞

家长群炸锅!家委会要用班费给老师订晚餐,有人直接硬刚:要搞你们自己搞

火山詩话
2026-09-04 09:33:50
奔驰宝马都给被星宇逼退的应届大学生撑腰了,国产车企不出来走两步?

奔驰宝马都给被星宇逼退的应届大学生撑腰了,国产车企不出来走两步?

神不隆通
2026-09-03 19:09:20
香奈儿果然不坑穷人,这鞋根本不是给走路的人穿的,是给专车接送、脚几乎不沾地的人设计的

香奈儿果然不坑穷人,这鞋根本不是给走路的人穿的,是给专车接送、脚几乎不沾地的人设计的

背包旅行
2026-09-03 11:56:50
一夜双赢,赵心童太不容易,挺进8强竟抽上特鲁姆普,英媒点评令人笑喷

一夜双赢,赵心童太不容易,挺进8强竟抽上特鲁姆普,英媒点评令人笑喷

老癘体育解说
2026-09-04 08:59:36
被立案调查才24天,53岁郭德纲再迎噩耗!

被立案调查才24天,53岁郭德纲再迎噩耗!

叨唠
2026-09-03 20:42:14
关于这次胡锡进和孙割的骂战,我支持孙割,知乎网友也是一边倒

关于这次胡锡进和孙割的骂战,我支持孙割,知乎网友也是一边倒

蓬辉堂
2026-09-03 22:17:24
2026-09-04 12:56:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
251文章数 71关注度
往期回顾 全部

头条要闻

梦碎的王子六年后“羞辱”回归 国王表态

头条要闻

梦碎的王子六年后“羞辱”回归 国王表态

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

GPT-6 Astra上线,AGI时代真到来了吗?

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

游戏
艺术
房产
本地
公开课

HD-2D《最终幻想:共鸣》宣布10月22日发售

艺术要闻

中国最美的殡仪馆

房产要闻

交付倒计时!超级地中海·憘悦,给海南顶豪打了个样!

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版