![]()
傅斯年(1896—1950)
假设有一天,一个大模型读完了全部二十四史、地方志、档案、日记、报刊和出土文献,我们是不是就不再需要历史学家了?
这个问题很诱人,因为它把历史研究想成了一场闭卷考试:谁记住的材料多,谁就更懂历史。大模型的记忆量远超个人,答案似乎已经写在墙上。
真正的难题藏在读完两个字里。一页档案有没有漏扫?一段文字是谁在何时写的?同名人物是否为同一人?OCR 把“己”认成“已”之后,结论会不会跟着改变?模型给出的那句话,能否回到原书、原页、原版本?这些问题没有解决,所谓读完,只是把大量影像和文本倒进了一个看不见的仓库。
1928 年,傅斯年在《历史语言研究所工作之旨趣》中提出“史学便是史料学”。这句口号常被理解为搜集材料,其实更有力量的部分在后面:历史知识的可靠程度,受制于我们发现、辨认、组织和检验史料的能力。到了 AI 时代,这句话没有过时,反而从一种治学主张变成了一项基础设施原则。
史料是有限存量,问题却可以无限生长
对任何一个确定的时间截面而言,前人留下的史料总量是有限的。现当代材料持续增加,地下文献还会出土,私人收藏也会进入公共视野,可某一时点以前实际留存下来的文本、图像和器物,终究构成一个有边界的集合。
有限不等于已知,更不等于可用。许多材料仍散落在不同图书馆、档案馆、寺院、家族和数据库里;有的只有书目,没有图像;有的有图像,缺少全文;有的能够检索,无法批量获取;还有一些缺少版本、来源和权利信息。研究者面对的表面上是史料稀缺,深层问题往往是史料没有被组织成可发现、可比较、可引用、可计算的知识对象。
这就像一座城市已经有了砖,却还没有道路、门牌和供水系统。AI 擅长驾驶,也能规划路线,前提是这座城市先有地图。若档案没有稳定编号,人物没有规范名称,时间地点没有统一表达,模型的速度只会放大混乱。
所以,AI 时代的第一个史学任务仍然很朴素:把有限的历史遗存整理成一套层次清楚、规范一致、来源可追溯的史料系统。扫描只是第一层。它上面还要有全文、目录、版本、人物、地名、年代、主题、引文关系、使用许可和修订记录。每一层都在回答同一个问题:这份材料究竟是什么,我们凭什么相信它?
五个地区,其实在修五种不同的路
观察欧洲、台湾、香港、美国和日本的数字化实践,会发现大家都在处理史料,修路的方法却各有侧重。
欧洲的关键词是跨国聚合。Europeana 把欧洲数千家文化机构中的艺术品、书籍、电影和音乐汇集到统一入口。它真正值得注意的地方,是共同的数据模型、权利标注和复用规则。原件仍由各机构保管,平台负责让异构资料能够彼此理解。欧洲的经验提醒我们,数字化项目一多,让不同库相互连接的语法就会成为稀缺资源。
台湾的长处是持续时间长,而且很早就把全文数据库、典藏系统和技术规范放在同一条线上。中央研究院自 1980 年前后开始推动院藏数字化,汉籍电子文献资料库项目始于 1984 年;相关工作后来进入 2001 至 2012 年的国家型数位典藏计划。中研院的资源平台曾整合约 560 万笔资料,并继续尝试把联合目录转换为关联开放数据。这个数字之外,更值得注意的是四十多年形成的连续工程:影像、全文、目录、知识组织和研究工具逐层叠加。它让古籍从可以观看的图片,变成可以检索、比对和关联的研究环境。
香港走的是地方记忆路线。香港记忆把文献、照片、海报、录音、电影和视频放进同一平台,还专门建设口述历史,允许跨专题检索。它的价值在于整合分散来源,并用展览和故事把资料重新放回社会生活。这里给历史学的启发是,史料系统既要服务专业研究,也要保存普通人的声音。数字化如果只收名人名作,城市留下的仍然是一张偏斜的底片。
美国更像一个分布式网络。美国数字公共图书馆 DPLA 通过地区和专题枢纽汇聚数千家图书馆、档案馆与博物馆的元数据,并提供统一的元数据规范和 API。研究者可以在门户中搜索,开发者也可以用程序调用。美国国会图书馆的历史报纸项目则把报纸影像、OCR 全文和结构化描述结合起来。它体现出一种平台意识:公共机构提供的不只是网页,还包括能被别的工具继续利用的数据接口。
日本强调国家级的跨领域导航。Japan Search 由国立国会图书馆运营,连接图书、公文书、文化财、美术、人文学、自然史、广播和电影等不同领域的元数据。它还配套发布数字档案指南、标准手册、案例与评估工具,明确哪些机构负责汇聚数据、怎样接入、怎样开放。日本的办法很像铁路系统:各馆可以保留自己的站房,国家平台负责轨距、换乘和线路图。
五种路径放在一起,差异很清楚:欧洲解决跨国互联,台湾解决长期积累和深度加工,香港解决地方叙事与多媒体记忆,美国解决分布式聚合和程序化利用,日本解决跨部门协调与国家级导航。它们共同证明了一件事:高质量数字史料很少来自一次扫描行动,它更像长期维护的公共工程。
AI 最适合做的,是把史料加工成秩序
有了这层认识,我们就能更准确地安排 AI 的工作。
第一步是文字化。OCR 和手写文本识别可以把书页、报纸与档案转成可检索文本,模型还能根据版面识别栏目、批注和印章。第二步是结构化。AI 可以抽取人名、地名、官职、年代和事件,识别异名,建立人物与文献之间的关联。第三步是聚类与发现。面对几十万页报刊,模型能够寻找同一事件的不同报道,追踪一个概念的长期变化,发现研究者没有预先设定的材料组合。第四步是辅助解释。它可以生成摘要、比较版本、翻译异文,提出值得人工复核的线索。
这里有一条硬边界:AI 的每个判断都要尽可能回到证据。成熟的系统应该保留原始影像、页码、版本、模型输出、置信度和人工修订记录。机器推断与原文事实需要分层显示,后来的研究者也应当知道一条标注由谁、在何时、用什么模型生成。缺少这条证据链,AI 整理很容易变成规模更大的抄错;有了证据链,它才可能成为可复核的学术劳动。
因此,未来的历史学家会多一个角色:史料系统的设计者和审计者。他要决定分类框架,制定元数据规范,挑选训练样本,识别模型偏差,也要判断哪些关联有历史意义。技术人员能够建库,模型能够跑得很快,史料为何如此命名、版本如何区分、沉默的人群怎样进入档案,这些仍是历史学问题。
从数字化到可计算的可信
我们可以把史料基础设施分成五层:保存层保留原件与高清影像;文本层提供经过校订的全文;描述层建立统一元数据和权威控制;服务层提供检索、下载、接口、权利说明与版本管理;智能层再让 AI 参与识别、关联、分析和解释。
现在最常见的冲动,是直接跳到第五层:先做一个能问答的历史大模型。这样的演示往往很惊艳,研究时却容易碰壁,因为下面四层还没有打牢。AI 可以生成流畅答案,无法替我们补出缺失的出处、混乱的版本和未曾数字化的档案。
傅斯年那一代面对的任务,是扩张史料、辨伪史料、让历史研究建立在新材料上。我们这一代多了一项任务:把史料变成机器可读,同时守住人类可核验。所谓“史学便是史料学”,今天可以读得更深一层——史料学既是目录、版本与校勘之学,也是数据建模、标准制定和证据治理之学。
AI 不会降低史料学的重要性。它把史料学从书斋里的基本功,推到了智能时代的总开关。谁能把固定的历史遗存整理成开放、规范、可追溯的知识基础设施,谁才真正拥有不断提出新问题的能力。
历史材料的总量或许有限,历史问题永远不会用完。AI 能帮助我们更快地穿过材料,史学仍要负责告诉它:路从哪里来,每一块路牌是否可信,以及我们为什么要去那里。
参考资料
傅斯年:《历史语言研究所工作之旨趣》,1928 年。
Europeana:About Europeana;Europeana Data Model。
中央研究院历史语言研究所:Scripta Sinica Research Group。
中央研究院数位文化中心:Tools & Databases;Core Technologies。
香港记忆:About Hong Kong Memory。
Digital Public Library of America:Prospective Hubs;API Basics。
Library of Congress:Chronicling America。
Japan Search:ジャパンサーチの概要。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.