Anthropic是如何毁书来训练大模型的

9月8日，《纽约客》杂志发布了一篇题为《毁掉书本，构筑心智》（Destroying Books to Build a Mind）的文章，讨论了AI 公司 Anthropic 为训练 Claude 模型而大规模购买并“破坏性扫描”纸质书的争议。

在文章中，作者从2026年初的现象开始切入，当时美国和加拿大多家二手书商突然收到大量小众、冷门学术书订单，买家常以神秘公司名义出现。后来人们发现，这些书被送往工业扫描设施，拆除装订、裁切页面、扫描成数字文本，再丢弃纸质本。Anthropic 在法律文件中将该项目称为 Panama Project，目标是获取“全世界所有书籍”。

文章指出，破坏性扫描本身并不罕见，图书馆也会为数字化而拆书。真正引发担忧的是：AI 公司是否在销毁稀有、珍贵书籍，以及这些书被转化为训练数据后，原始文本、作者背景和阅读语境是否被抹除。多位书商和专家认为，Anthropic 购买的大多并非古籍或珍本，而是20世纪70年代以来出版的冷门学术书、专业书和低流通书籍。这类书本来可能走向过时，进入模型后或许反而能产生更大影响。

法律层面，法官认为使用合法获得的书籍训练 AI 属于合理使用，格式转换为数字副本也可以成立。

但文章强调，更深层问题不是“毁书”本身，而是透明度和文化意义。Anthropic 所谓“研究图书馆”并不是为了让人阅读，而是为了提取数据、扩充模型记忆。研究者和用户无法知道模型吸收了哪些书，也无法追踪信息来源。

作者在文章的最后提出，书不只是句子的集合。真正的阅读包含时间、顺序、语境、想象和人与文本的关系。大语言模型把文学和知识转化为可重组的数据，可能造成一种比物理毁书更隐蔽的抹除。尽管如此，作者也认为，总会有人偏爱模型生成的摘要或改写内容，但也会有人继续追求原始文本和真正的阅读体验。

值得注意的是，Anthropic将书籍认定为其大语言模型“最高质量的训练数据来源”。对于未数字化的书籍而言，是否能够进入训练的数据集、如何进入训练的数据集，截至目前尚未看到中国大模型公司对此实践的公开信息。

Anthropic已于6月1日秘交了招股书文件草案，此前预计9月上旬公开披露，但目前披露时间已被至少推迟至9月下旬。Anthropic最新一轮公开披露的股权融资为5月下旬，投后估值9650亿美元，7月底ARR超650亿美元。市场预计，公司上市后市值或超两万亿美元。

不少美国投资人曾公开抱怨美国主流媒体对于AI公司的消极态度，并认为美国大众对AI的悲观预期（如拒绝在本地建设数据中心）与主流媒体的态度有密切关系。

以下为「明亮公司」编译的文章内容：

毁掉书本，构筑心智（Destroying Books to Build a Mind）

Anthropic正试图“以破坏性方式扫描全世界所有书籍”。我们应该有多担心？

作者：Francesca Mancino

2026年初，布鲁克林旧书店James Payne, Books and Prints的店主开始收到一批订单请求。他后来形容这些订单“大胆得离谱，也古怪得离谱”。

书本身很奇怪：比如一本1998年的所谓法律生存指南《如何在纽约小额索赔法院胜诉》，又比如一本2006年的学术著作《玻璃建筑文化》。下单方式同样奇怪。像Payne这样的书商通常会把库存挂在多个网站上，比如AbeBooks、Alibris、Amazon和Biblio。在这些平台中，Alibris通常被认为是最冷清的一条收入渠道。可突然之间，Payne在Alibris上的销量从每年不到10本，变成了一次处理10本书的订单，而且每本均价高达75至80美元。美国各地的其他书商也报告了类似情况。

Sylvia Petras是多伦多Leaf and Stone Books的店主。起初，她看到美国书商在网上发布销量激增的消息时，还颇为羡慕。随后，订单也开始陆续流入她的店里，那种羡慕很快变成了困惑。Petras拥有大量15至17世纪的印刷书，以及稀缺书和学术书；一些主题古怪的书，比如关于污水处理厂的书，突然从书架上飞速售出。

和其他被小众书籍订单淹没的书商一样，Petras注意到，这些订单并不是以个人名义下的，而是来自一些神秘的有限责任公司：Green Parrot Project和Red Sparrow Project。一位要求匿名的书商决定，在把一本被购买的书寄给神秘买家之前，给它装上GPS追踪器。研究了几种方案后，她选择了一种SmartCard设备。它看起来像信用卡。她把它放进一个小信封，再把信封固定在一本精装书后封面的内侧、护封后面。随后，她在线跟踪这本书的去向：它从俄亥俄州Grandview Heights出发，抵达伊利诺伊州Addison的一个工业园区。那里有一家名为ARC Document Solutions的公司，运营着工业级扫描设施。在一段宣传视频中，ARC的一位发言人解释说，公司许多站点全天候运转，全国范围内超过100个。他还提到一位客户雇用ARC扫描“每个月一个足球场大小、堆到四层高的箱子”。

Anthropic是Claude系列大型语言模型背后的人工智能公司。它正试图尽可能多地获取纸质书。我们知道这一点，是因为Anthropic自己的法律文件。这些文件在2024年针对该公司提起的一起版权诉讼中被解封。Anthropic将书籍认定为其大语言模型“最高质量的训练数据来源”之后，启动了一个名为Panama Project的秘密项目。法院文件对这个项目的简洁定义是：“我们以破坏性方式扫描全世界所有书籍的努力。”

“破坏性扫描”的意思非常准确：根据法院文件，Anthropic或其关联方“拆掉纸质书的装订，将书页裁切成可操作尺寸，然后扫描这些页面，在创建数字副本的同时丢弃每一本纸质书”。

这个过程会使用液压切割机，也就是所谓“书籍断头台”。听起来很阴森，但这种做法其实相当常见。大学的文献保存部门经常会拆掉书的装订，以便更容易扫描。当然，毁掉一本书并不是扫描它的唯一方式。普林斯顿大学图书馆在数字化文本时，会特别保留实体副本，即便这会让流程效率降低。普林斯顿大学英语教授、数字人文中心教务主任Meredith Martin告诉我：“在不压平书本的情况下拍摄影像、保留书本完整性，是完全可能的，只是成本更高。”

不过，Martin和其他专家也强调，旧书一直会被丢弃，随后被销毁，甚至不一定出于学术原因。有些图书馆只是为了清理馆藏。捐赠当然更容易让人接受，但要处理一本过时的说明手册或教材，或者几本破旧的同一大众平装书，并不容易。有些书甚至不会被监狱图书馆接收，因为后者通常拒收精装书或品相很差的书。结果，这些书可能最终进入垃圾填埋场；也可能根据装订方式被拆解、打浆回收，或者被粉碎。

休斯敦学术图书馆员Claire Sewell曾在Medium上发文，为图书馆“剔旧”书架辩护。她承认，“看到一整只垃圾箱里装满书，似乎完全背离了图书馆作为知识储藏所所应代表的一切。”然而，“旧的、过时的、损坏的，或者单纯借阅率很低的书，必须定期剔除，这样我们才能为你真正想借的新书腾出空间。”

让Anthropic项目引发争议的，并不是人们担心它会毁掉一本被水泡坏的《秘密》，而是担心它毁掉真正稀有且有价值的书。为了满足对数十亿页内容的饥饿需求，Anthropic一开始向批发商大规模下单，随后转向个体书商和二手书商，以填补缺口。该公司对冷门文本的兴趣，引发了一些标题，说AI公司正在购买并销毁“罕见旧书”或“古董书”。这些说法通常会让人联想到初版书。

随着Anthropic这类AI公司的崛起，确实出现了许多正当的伦理担忧。但销毁珍贵书籍未必是其中之一。Anthropic的一位发言人在声明中写道：“我们的任何数据获取项目都不会购买并销毁稀有书或古籍。”这里的“古籍”指至少有100年历史的书，无论是否稀有。美国古籍书商协会表示，没有任何会员向其报告称，这类书被卖给了AI公司。我采访过的个体书商中，也没有人把古籍卖给看起来像AI公司的买家。相反，他们卖出的多数书都有ISBN，也就是唯一数字识别码；ISBN直到1970年才开始使用。

多伦多书店店主Petras说，她总体上愿意把书卖给隐藏身份的买家，但绝不会把带有有趣边注或重要来源背景的书卖给他们。波士顿Brattle Book Shop的店主之一Joyce Kosofsky说，她卖出的书都有多本复本。“我们可能是价格最低的那家，”她猜测道。她认为，总体上，书和任何其他可出售商品并无不同：“就像你走进服装店买一条牛仔裤，那就是你的牛仔裤。你可以穿，可以装饰，可以送人。不会有人跟着你问，‘你打算拿你的牛仔裤做什么？’”

既然Anthropic购买的书“很可能并不非常稀有”，普林斯顿教授Martin说，该公司使用书籍断头台的做法不应被视为煽动性问题。但如果这些书并不稀有，那它们到底是什么？

书商们分享了600多个书名，他们认为这些书已经被卖给AI公司。我把这份清单发给华盛顿大学信息学院助理教授Melanie Walsh，请她进行数字化处理。这些文本的特点是主题冷门、受欢迎程度低。有些书印量很小，通常1000册或更少，以满足现实市场需求。在排名前十的出版社中，有八家是大学出版社；整体样本中大约三分之一来自学术出版社。多数书出版于20世纪70年代到2010年代之间，体裁涵盖历史、传记、小说、诗歌、文学批评、法律和社会科学。

Walsh总结说：“从这个样本看，AI公司似乎可能有兴趣用范围广泛的、经过同行评审的学术研究来训练模型。”这与Anthropic研究科学家Mycal Tucker在组织AI模型训练数据时的发现相吻合。Tucker在书面证词中说：“非虚构作品往往比虚构作品更有价值。”他还补充说，非虚构书籍数据帮助模型在哲学、天文学等差异很大的学科中表现良好。

Walsh说，对于一些高度专业化的非虚构作品，比如Petras最近卖出的一本1972年小册子《城市污水污泥利用》，“可以提出这样一种观点：这些冷门学术书作为Claude模型的一部分，可能比以其他方式存在产生更大影响。”毕竟，它们原本就正在走向过时。

Anthropic试图获得“全世界所有书籍”的努力，也引发了法律挑战。2025年，该公司同意支付15亿美元，以和解一群作者提起的集体诉讼。这些作者指控Anthropic侵犯其版权，具体而言，是未经许可使用他们的书进行AI训练。

负责该案的法官William Alsup谴责了Anthropic的一些行为，例如下载超过700万本盗版书，并将这些文件保留为“永久性的通用资源”，即便它们并未被用于训练Claude。Alsup在裁决中写道：“Anthropic似乎认为，因为它复制的一些作品有时被用于训练大语言模型，所以Anthropic就有权免费拿走世界上所有作品，并永远保存，而不需要进一步交代。”

但根据Alsup的判断，使用书籍训练AI模型这一更大范围的做法属于合理使用。他写道：“作者不能正当地排除任何人使用其作品进行训练或学习。”他还说：“每个人也会阅读文本，然后写出新的文本。他们最初获取文本时也许需要付费。但如果要求任何人在每次阅读一本书、每次从记忆中回想它、每次后来以新的方式写作并借鉴它时，都专门为使用这本书付费，那将不可想象。”

版权律师、Re Coalition执行主任Brandon Butler将AI训练描述为“版权法历史上最公平的使用”。Re Coalition是一个倡导组织，同时支持专有作品创作者及其用户。Butler认为，这是因为AI训练“从既有文化中取走的，只是事实上属于我们所有人的东西：事实、思想、语言和语法元素，并让所有人更容易使用这些东西”。

如果大语言模型逐字复述记忆材料，或传达受保护的表达，版权可能会被侵犯。但它们通常传达的是不受保护的信息，而且表达方式与原始来源的措辞不同。Butler说，从这个意义上讲，AI公司和作者之间并不存在市场竞争，因为一个人如果看到一本书的意译摘录，仍然有动力购买那本书。当然，这个问题也会因某些大语言模型偶尔“记住”几乎整部小说而变得复杂，包括Meta的Llama。

根据Alsup法官的判断，Anthropic销毁其合法获得的纸质书，也在其权利范围内。他写道：“Anthropic购买了数百万本纸质书，‘用以建立研究图书馆’。它销毁每一本纸质书，同时用数字副本替代，供其图书馆使用；这些副本并不在公司外部共享或出售。”由于这种格式转换是为了便利，即更便于存储和搜索，并且没有增加原书副本数量，因此属于合理使用。

但撇开合法性不谈，如果Anthropic对“研究图书馆”一词的理解与我们的理解差异如此之大，以至于让这个说法近乎用词不当，那么即便只在语言层面，我们也会遇到困难。Butler解释说：“他们并不是在建一座图书馆，因为也许有一天会有人想读完这些书。他们也没有兴趣帮助其他人阅读这些书。他们真正想要的，是数据。”

他们的数字馆藏被构建出来，唯一目的就是扩充Anthropic大语言模型的“记忆”，并磨炼其写作能力。

结果是，即便这些模型确实成功保存了那些本可能因时间流逝或兴趣衰退而失落的文学材料，源头也将始终处在阴影中。研究者无法访问这些图书数据，用户也无法控制或观察信息是如何被提供给自己的。HathiTrust执行主任Mike Furlough告诉我，我们有权要求AI公司更透明地说明其数据集是如何创建的，尽管它们的使命并不是分发书籍，而且公开这些数据可能牺牲其竞争优势。

图书馆和学术研究者被要求遵守严格得多的标准。Furlough说，“一个想要制作小型语言模型的学术研究者，会被要求披露他们使用过的完整书目。”他继续说：“这只是普通学术惯例，因为你希望其他人能够复现，或者理解其中使用了什么。”任何普通人用于研究的可靠工具，基本上也是如此；即便是维基百科也包括引用。Anthropic想把“全世界所有书籍”聚拢起来，这个目标本来几乎可以令人兴奋；问题在于，这个假想的书面知识库只会存在于Claude的数字深处。

历史学家Leah Price在2019年出版的一部关于书籍媒介的非虚构史中写道：“每一代人都会重写书的墓志铭。改变的只是凶手是谁。”19世纪，人们怀疑的凶手是图书馆。在伦敦印刷的一本小册子《公共借阅图书馆向读者免费开放书籍的真相》中，一位匿名作者试图揭露免费开放的可怕现实，声称它会导致图书被盗和“错放”。更近一些，人们的恐惧则集中于电子书和Kindle的出现。

在《当我们谈论书时，我们在谈论什么》中，Price指出，书一直具有变色龙般的特质。它们会随着技术创新而适应变化，而且这两者并不必然始终处于张力之中。然而，作为读者、作为文学消费者，意味着什么，这一概念也开始发生转变。

Price在给我的电子邮件中表达了担忧：一种正在逼近的威胁是，“AI将取代人类读者”，因为“破坏性扫描为了单次机器阅读，牺牲了未来多次潜在的人类阅读”。

书自带历史与语境（baggage)，而AI把这些都剪除了。书要求我们投入时间、参与和思考，每一本书都有一套独特的阅读要求。作家Catherine Gallagher在2006年的文章《虚构性的兴起》中探讨18世纪小说写作的扩散。她列举了早期小说如何要求读者投入注意力和参与，要求读者“预判问题、作出假设性预测，并看到可能的结果和替代性解释”。

Price告诉我，如果一个人仍然相信阅读是一种“想象性的、沉浸式的体验”，那么在人类无中介地阅读，与机器人替用户阅读并提取有价值内容之间，就存在关键差异；当涉及标志性文学作品时尤其如此。Price说：“一部小说不只是一桶句子。这些句子出现的顺序很重要。”然而Anthropic的目标，似乎正是不断积累并吐出越来越多的桶。

弗吉尼亚大学教授Matthew Kirschenbaum警告说，如果“书的巨大美德”被溶解进数据中，会发生什么。书作为一个自足对象而存在，有人类作者，也有人类历史；而数据会把所有上下文从原作中抽离。书的边界，例如封面与物质性、出版信息和作者，在文本被“同质化”、并且“失去其在原书中存在的所有关系”时消失了。

因此，保护AI免于版权侵权的恰恰也是问题所在：它能够改写措辞。大语言模型把文学转化成某种混合的、半死不活的东西，距离原始来源极其遥远，即便不是完全脱离原始来源。它创造出一种如此剧烈更新的产品，以至于文本作为一个独立作品实际上被毁掉了。这种不那么显眼的抹除，比破坏性扫描更危险，也更令人担忧。

即便如此，我仍然怀疑，通过大语言模型获取信息，是否永远只会吸引一部分人。这里可以和18世纪小说的兴起作一个类比。笛福的《鲁滨逊漂流记》和塞缪尔·理查森的《帕梅拉》分别于1719年和1740年出版后，在整个18世纪剩余时间里，多次印刷都销售一空。竞争者看到出版社为了满足需求不断印刷，于是想出一种快速赚钱的办法：出版各种盗版版本。

这些二流版本包括适合儿童阅读的版本、保留最精彩或最刺激部分的删节本、单纯比完整版更便宜的短版，以及未经授权的续集。这些盗版书也极其流行，尽管人们仍然继续寻找原始文本。

我们可以把这些18世纪消费者分成两类：一类购买并阅读笛福和理查森写下的小说；另一类则偏爱被改写或模仿的版本。一直以来都有，或许将来也始终会有一些人，相比原始来源，更喜欢劣质内容。