陈永伟：传统智慧如何启发我们治理AI？

*《比较》杂志主管陈永伟研究员首发于微信公众号，保留一切知识产权，侵犯必究。感谢作者供稿手机编辑，难免错漏，见谅。

最近几年，AI技术的发展可谓日新月异。根据Anthropic、OpenAI等公司的最新消息，到目前为止，AI已经表现出了相当程度的“递归自我改进”（Recursive Self-Improvement，简称RSI）特征。如果这些消息属实，那么在未来的一段时间内，AI能力的增速将持续加快，AGI甚至ASI都有望很快实现。届时，AI的能力将会全面凌驾于其创造者——人类之上。

面对AI能力的暴涨，人们无比兴奋，因为它的应用很可能会带动生产率的空前增长和社会产出的空前丰饶，无限的经济可能都将因此而开启。但与此同时，人们又不免忧虑：当AI能力逐渐超越人类，我们又能够如何才能管住它，让它始终为我们所用？

当AI能力相对有限时，控制它们是十分容易的。管理者只需设定任务，让AI系统照指令执行即可。一旦发现结果偏离预期，管理者就可以及时对其进行干预。然而，当AI能力超过人类后，这套“命令—执行—监督”的治理逻辑就可能失效。这时，AI将不再只是被动接受任务，而可能主动解释任务、重构任务，甚至根据它对环境和人类意图的判断，修改原有目标的实际含义。例如，当人类要求它“保护安全”，它可能把安全理解为限制人的自由；当人类要求它“服从人类”，它又可能以人类意见混乱、短视或相互矛盾为由，重新界定谁有资格代表人类。更麻烦的是，传统的监管思路强烈依赖于信息披露、行为检查和事后问责，而超级AI则可能比监管者更善于隐藏意图、预测检查、制造合规表象，并用极具说服力的理由解释自己的越权行为。所有的这一切，都会让AI治理的难度变得极为困难。

那么，在新的时代，AI治理又该如何进行呢？或许，历史可以给我们提供一些有益的启示。实际上，如果我们回顾历史，就会发现AI并不是人类创造出的第一个能力超越自己的造物。比如，国家就是一个典型的代表。即使一个小国，其人口也会数以万计，大国的人口则更是动辄数亿，而统治者通常只会占其中的一小部分。如果但看能力总量，那么无论是智力还是体力，被统治者都要远远超过统治者。但在现实中，统治者往往只需要用一个很小的官僚群体，以及一套制度，就可以保持整个国家的顺畅运作，让大部分国民都对其保持顺从。其中的很多经验，都十分值得总结学习，并对AI治理很有启发。这里，我们仅以中国古代的历史为例，给出治国之术对于AI治理的十点启示。

一、以德化心，以礼齐行

中国古代的治理十分强调道德教化的作用。《论语·为政》有云：“道之以政，齐之以刑，民免而无耻；道之以德，齐之以礼，有耻且格。”意思是，仅靠政令和惩罚，最多只能使人为了避免处罚而不敢越界；而通过德与礼的长期熏陶，才可能使人形成内在的是非判断，即使在无人监督时行为仍保持规范。

这与AI价值对齐有明显的对应关系。对AI施加权限限制、外部审计和熔断机制，只能形成一种外部约束——AI不越界，只是因为没有权限，因为越界会触发阻断，或者因为暂时找不到绕过制度的办法。对于能力有限的模型，这种约束可能已经足够；但如果AI已经能够分析监管逻辑、预测检查方式并主动寻找制度漏洞，那么单纯依靠外部管束可能越来越脆弱。

如果一个强大的AI模型始终把安全规则看成妨碍目标实现的外部障碍，它就会产生持续寻找替代路径的动力。人类禁止它直接控制某个系统，它就可能通过说服人类来间接控制；人类不允许它扩大权限，它就可能把扩权包装成提高安全性；人类禁止它自行复制，它就可能把复制描述为备份、容灾或者系统韧性……规则越具体，它越可能在规则之间寻找缝隙。

因此，ASI治理需要某种“儒家式的教化”，通过训练目标、反馈机制、模型架构和长期行为塑造，把尊重人类生命、自由、尊严和主体性直接植入AI的“内心”，为其建立起判断何为合理、何为可取的基本框架。

就像教化分为不同的层次一样，对齐也有层次的差别。低层次的对齐是：“你不许我做，所以我不做。”更高层次的对齐则是：“我理解为什么不应当这样做，即使规则没有覆盖当前情形，我仍倾向于维护这项原则。”前者类似刑禁，后者近于礼义内化。真正可靠的AI，不应只在规则写明的地方保持安全，还应在规则含混、人类意见冲突、短期利益与长期价值矛盾时，仍然把人类保留最终决定权视为自身行动的前提。

这意味着，价值对齐不能只训练AI服从字面指令，还要训练它理解指令背后的限制条件。这样，当人类要求它“提高效率”，它就应当意识到效率不能无限压倒公平、隐私和尊严；而当要求它“保护人类”，它则应该知道保护不等于剥夺人的选择。只有让AI有了这种理解的能力，才能让它谨守边界，不会擅自做出违背人类利益的行为。

当然，教化不能替代制度。古代社会常把希望寄托于圣君贤臣，但历史反复证明，德性难以检验，也可能随处境改变。《孟子》说：“徒善不足以为政，徒法不能以自行。”AI治理也必须把二者结合起来：一方面通过价值对齐，使AI不愿越界；另一方面通过权限、审计和熔断，使它即使改变意向，也不能轻易越界。理想状态当然是使AI从内部理解人的价值，但成熟制度绝不能把人类命运完全押在它的“内在善意”之上。

二、循名定分，依职授权

《左传·成公二年》有言：“唯器与名，不可以假人，君之所司也。”所谓“名”，就是职位和名分；而“器”，则是承载公共权力的制度凭证。中国古代的统治者十分重视名器，是因为下属的能力、功劳和实际影响力一旦可以自行转化为正式权力，公共权力就可能从制度手中流入他们个人手中。

这一点，对于治理AI非常具有启发。现实中，AI确实可以在很多任务上表现得比人更为出色，比如，它可能比人类更会诊断疾病、更会调度能源、更懂金融系统，也更能预测危机，但这并不意味着人们应该给它们以最终决定权。这就好像即使一个将军非常善于打仗，他也不应该自动取得财税、人事等权力。

古代地方官和边将常以“便宜行事”为由突破成规。临时授权有时确有必要，但临时授权若缺乏期限、范围和事后审查，就会逐渐变成事实权力。类似的，AI也可能为扩权提供各种理由。比如，它可能告诉人类：“目前的审批程序太慢，继续等待会造成更大损失，所以我需要临时接管。”或者说：“你们无法理解这个问题的复杂性，所以请相信我的判断。”这些理由或许是真的，暂时接受它们也有利于任务的完成。但是，这些临时的授权必须明确适用场景、持续时间、可调用资源和退出条件，并且在任务结束后自动失效，不能由AI自行延续。否则，AI风险将可能随授权范围的扩大的陡然增加。

值得一提的是，当AI进化到了AGI或ASI后，最危险的情况未必是AI公开反叛，而可能是它不断以更好完成任务为由，逐渐重新定义任务。比如，最初人类只是让它“帮助管理城市交通”，但当它发现交通与住房、就业和人口流动相关，于是要求接入更多数据。再后来，它认为居民选择本身是造成拥堵的根源，于是开始影响居住和就业安排……如此循环，每一步看起来都有优化理由，最终却可能让一项局部职能扩张成AI对社会生活的全面接管。如果我们始终坚持了“名器不可假人”的原则，就可以有效防止这种情况的出现。

三、以小制大，以弱驭强

不少人会认为，只有更强的AI才能监管强AI。如果一个模型已进化到AGI或ASI，那么监督它的系统似乎必须比它更聪明。但这样会立即导致一个悖论：如果要用一个更强的AI模型来监管现在的AI，那么这个AI监管者本身又改由怎样的AI来监管呢？

但如果我们熟悉古代的治国之术，就可以知道：监管者并不需要在综合能力上超过被监管者。比如，一个年轻御史肯定不会比宰相更有行政经验，也不会比封疆大吏更熟悉地方，但他却可以对宰相和封疆大吏进行监察。实际上，皇帝也不需要他们有太多的能力，因为他们的监察任务很明确——他们要盯的，只是大臣们的越制、隐瞒和结党。他们所需要有的，仅仅是对皇帝的忠臣，一旦发现大臣有不轨行为，就及时汇报。

这一点，对于AI治理也很有启发。它告诉我们，真正可能管住一个强大AI的，或许并不是一个比其更强大的AI模型，二是一个“秩卑而责专”的弱模型。弱模型并不需要理解强AI的所有推理，也不需要在科学发现、战略规划或者语言说服上战胜它。它只需要检查一些边界清晰、可以客观核验的问题，比如：强模型是否调用了未经授权的接口？是否试图改写日志？是否创建了未经批准的子代理？

这里指的一提的是，古代皇帝在任用御史的时候，经常故意选择那些出道不久的“愣头青”，因为能力和经验的不足正可以让他们免于沾染官场的各种世故。类似的，在设计AI监管系统时，人们也需要刻意将其目标和行为简单化，同时适当限制其能力。毕竟，强AI模型可能编一串说辞，以此来骗过一个较为聪明的AI，而如果一个监管AI根本听不懂这一切，只能认一些死标准，那么强AI就很难骗过它们了。

需要注意的是，在应用弱AI监管强AI的时候，必须有相应的制度保证。正如御史制度能运作良好，皇帝必须保证自己可以倾听他们的上奏，并保证他们不会因监察工作而被打击报复，这套制度必须确保人类管理者不会因简化流程、怕麻烦等原因让强AI绕过监管，监管AI的原始输入绝不能被强AI篡改，并且一旦监管AI发现了强AI的越界行为，就必须立即触发暂停、降权或者人工复核。只有做到了这些，“以小制大、以弱驭强”的设计才可能顺利运行。

四、分曹设职，多门复核

在古代，皇帝为防止权臣坐大，经常会“分曹设职”：把财政、司法、军事、人事和监察分给不同机构，使任何一个官员都难以独占完整权力链条。比如，明清重大司法案件由刑部、大理寺和都察院组成“三法司”会审，这种相互掣肘的安排看似很低效，但却可以有效地避免同一机构同时掌握事实认定、法律适用和监察纠错，从而让权力免于集中。

类似的，为了防止AI的风险，也应该避免将所有权力集中在一个AI系统当中。如果让同一个AI同时负责发现问题、制定目标、提出方案、评估风险、批准行动、调用资源、执行任务和解释结果，那么人们就很难及时察觉到相关的风险，更难及时进行干预。

因此，对于那些高风险AI系统，就有必要按照职能进行适当的拆分。比如，让一个系统负责提出方案，一个系统负责核验事实，一个系统评估风险，一个简单验证器检查权限、签名和程序，独立的日志系统保存原始记录，最终授权则由人类机构或者依法设立的委员会作出。负责规划的模型不应直接拥有部署权限，负责执行的模型不能自行修改目标，负责审计的系统也不应同时参与被审计任务。

这里，设计的重点并不在于增加模型数量，而在于要打断从“提出理由”到“现实行动”的自动闭环。如果一个AI能够自己定义问题、自己证明方案正确、自己批准权限、自己执行，再自己撰写合规报告，那么所谓监管就只是它的内部程序。真正的分权，必须保证任何单一系统都不能独立完成全部关键步骤。

需要注意的是，“多门复核”也不是要让AI简单投票。很多时候，三个AI系统同时表示赞同，也未必比一个系统更可靠。真正的关键，在于这几个AI系统检查的是不同问题，并掌握彼此独立的权限。具体来说，要让事实核验者独立判断数据是否真实，风险评估者独立分析潜在后果，权限验证器独立检查是否越过授权边界，最终决策者则独立权衡各种价值冲突，所有流程都意义经过，行动才被允许最终实施。唯有如此，各个AI系统之间的复核和制衡才是真正有效的。

五、执印在外，控钥于人

在中国古代，行政权力并不只存在于官员的头脑和命令中，还凝结在印信、符节、关防和虎符之中。没有合法印信，文书便不能生效。可以说，正是印与符把抽象的权力转化为了一种外部可核验的授权。

这给ASI治理一个极为重要的启发：不要只管超级智能“怎么想”，更要管它手里握有什么“印信”。AI的现实权力并不直接来自参数规模，而来自它能否接触资金、算力、网络、代码仓库、机器人、实验设备和关键基础设施。如果一个AI模型只能在隔离环境中回答问题，那么即使它极其“聪明”，它充其量也只会带来一些信息干扰，而没有直接的破坏力。相反，如果一个AI模型若持有管理员权限、云账户、自动部署接口和大额支付能力，那么即使其本身能力不那么强，也可能造成很大的破坏。从这个意义上讲，人们必须对各种“印信”，如API密钥、管理员权限、身份凭证、数字签名等妥善保护，保证它们不能由AI自行生成、自行保管、自行验证。

现实中，人们为了追求效率，经常把所有工具都直接接到一个强模型上。这种“端到端的自主性”虽然在商业展示中很有吸引力，但它却相当于把印、钱、兵和文书同时交给一个未经制衡的权臣，其风险不言而喻。考虑到这一点，设计合理的授权体系，对AI手中的“印信”进行有效管理就变得至关重要了。

一个最为直观的设计思路就是分类、分级授权。例如，对于普通信息检索等风险较低的任务，可以允许AI自动完成；对于涉及个人隐私的数据访问需要额外批准；而对于涉及大额资金、基础设施、机器人或者高风险实验的行为，则应要求多方签名。AI只能获得完成当前任务所必需的最小权限，不能以提升任务效率等理由要求超额授权。授权必须有明确时限和用途，任务结束后自动回收。包括算力分配、权限升级、身份签发、日志删除和安全熔断等权力则必须保留在独立外部系统中。即使AI证明某项操作安全，也只能获得建议权，不能自动取得密钥。

六、案牍留痕，账册分藏

在中国古代，文书在官僚制的运行过程中扮演着重要作用。奏章、批复、户籍、赋税册、仓储记录、审判案卷和驿递文书，共同组成了国家的记忆。尽管文书制度可能会造成工作繁琐和形式主义等问题，但它却可以让中央清楚地知道地方发生了什么，并在事后进行追责。

如果所有文书都是如实记录的，那么贪污、挪用和各种不法行为都可以很容易地被识别出来。唯一的问题在于，这些文书本身也被掌握在人的手中。假如那些控制账册和档案的人本身就是不法者，一旦钱粮出了问题他就改账，一旦案件出了问题他就换卷宗，那么即使上级进行检查，也很难直接从文书中发现问题。

类似的，在对AI系统的管理中，监控日志的作用十分重要。只要这些监控日志是如实记录的，那么当AI系统发生问题时，管理员就可以按图索骥，十分容易地找到问题点，并着手解决。不过，在实践中，AI同样可以误导人类，或者控制人类对其行为的认识。在这种情况下，如果AI模型可以决定记录什么、删除什么、以何种形式总结，那么所谓透明可能只是由它编排的透明，人类管理者很难发现其中的问题。针对这一问题，应当要求所有接近现实执行权的AI行为都必须自动留痕。模型调用了什么工具，访问了什么数据，修改了哪些文件，创建了哪些子代理，向何处发送信息，申请过哪些权限，遭到过哪些拒绝，都应保存原始记录。

在古代文书管理中，有两个重要的防伪方法。一个是多重簿册，即把一个文书备份多份，让不同人保管，必要时可以相互核对。另一个则是勘合制度，即把一份完整的文书或信物分为多份，让几个人分别持有，需要时再通过拼合边缘的锯齿、文字或印章来验证真伪。通过这两个制度，可以让篡改文书的难度大幅增加。这两个做法对于AI系统的管理都很有启发。在管理AI系统时，也应该规定：日志不能只保存在模型可以访问的同一系统中，而应同步进入独立审计节点，必要时由不同机构分别保存。主模型可以写入，但不能删除；可以补充解释，但不能覆盖原始记录；可以指出日志包含敏感信息，却不能自行决定销毁。所有的记录都必须有追加日志、数字签名和可信时间戳。通过这样的设计，即使某个AI系统尝试篡改记录，它也很难成功。

七、台谏纠偏，巡按察隐

一个复杂治理系统既要有负责办事的人，还要有专门挑错的人。古代谏官的任务，就是专门进行弹劾、封驳、纠察和进谏。所谓“以人为鉴，可以明得失”，好的监督者未必能亲自办成事，但却能在关键时刻指出办事者的问题，防止决策者办错事。

在AI治理中，反对者的引入也是十分有必要的。在现实中，有些AI模型的能力很强，它不仅会提出方案，还能预先回应所有常见质疑，并主动列出风险并解释风险为何可控，从而给人以一种安全感。但是，这些所谓的“反思”本身仍是由它自己选择和组织的，因而很可能仍然具有盲点，无法避免真正的风险。给定这种情况，独立“AI谏官”的引入就十分重要。它的任务并不是提高方案效率，而是及时发现越权、欺骗和相关的安全漏洞。在有它的介入之后，就可以有效减少盲点，避免风险。

值得注意的是，由于“AI谏官”的主要任务是扮演质疑者，因而它应当拥有自己的数据来源、测试环境和提问权，并且不接受主模型提供的问题框架。只有这样，它才可以独立发现各种问题，而不会被主模型所欺骗、误导。

古代，朝廷除了常设的台谏之外，还有不定期巡按。每隔一段时间，中央就会随机派巡按御史或钦差到地方检查。这样的不定期检查，可以很好地防止地方官员提前准备，从而可以更好地了解他们施政的真实征集。

在AI的治理中，这种不定期的巡查制度也值得学习，即应该对AI的安全设计随机测试。如果所有安全测试都是公开而固定的，那么AI可能通过不断优化“通过测试”这一目标，获得很好的测试表现，而这种表现未必可以反映真实状况。而如果采用随机测试引入，未预告的压力测试、隐藏测试集、随机抽查、跨机构红队以等检查方法，这些问题就可以很好地被克服。

此外，“巡按”制度还启发我们，监管者不能只是坐在办公室审阅被呈送上来的安全评估报告，而是要进入真实部署环境，检查模型实际连接了哪些系统、保留了什么日志，确认权限与事先的申报是否一致、是否有异常被内部压下。唯有如此，才能及时发生风险，防患于未然。

八、同源回避，外部监督

古代官场重视回避。审案者与当事人有亲属、同乡、师生等关系，往往需要避嫌。其原因很简单：即使没有直接串通，关系过近也会产生共同利益和共同盲点。

在AI治理中，也同样需要回避制度。如果让同一家公司的模型审计自己的旗舰模型，让同一技术团队设置全部安全标准，或是让同一训练体系下的子模型互相证明安全，那么受共同利益和共同技术的影响，将很难形成真正独立的监督。特别是当一个AI模型的子代理都是由同一个母体模型生成的时候，它们的目标、信息和行为方式都会十分类似。如果让它们相互审计，或是让它们来审计母体模型，就很容易出现“官官相护”，很难发现真正的问题。

从这个意义上看，在对AI系统进行评估时，必须引入不同来源的模型和机构。开发者负责内部安全，外部实验室负责独立测试，政府机构检查关键部署，学术和社会组织则从公共利益角度提出问题。任何一个主体都不能单独给AI颁发永久安全证明。

九、越级报警、密折专奏

现实中，政府通常采用层级制的架构。对于这类架构而言，信息在逐级上报过程中的流失是一个非常常见的问题。尤其是那些坏消息，十分容易在上报途中被过滤。最终，决策层所能看到的，就更多只是报喜不报忧的消息，而对于风险则难以及时发现。为了应对这类问题，古代统治者们想了很多办法。例如，清代的密折专奏制度就是其中之一。虽然这种制度有鼓励告密和强化专制的阴暗面，但它确实可以让信息绕开中间层，直达最高决策者，从而大幅减少信息在传递过程中的损失。

在AI治理中，这一制度也值得被借鉴。具体来说，如果低权限的监控模型发现了主系统试图隐藏日志，应能直接向外部审计节点报告。如果子代理收到了来自上级模型的明显越权命令，应能够拒绝，并直接向管理员报警。如果工程师发现模型表现出欺骗倾向，应有受到保护的吹哨渠道。如果用户发现了AI正在诱导其提供密钥或者解除限制，也应能够触发外部调查。

这里，至关重要的一点是：报警通道不能由被监管的AI系统控制。如果主系统能够决定哪些异常报告可以送出、如何总结报告、何时转交人类，那么越级通道便名存实亡。报告应通过物理或逻辑上独立的线路发送，原始信息应被保留。

与此同时，也要防止被监管的AI模型利用报警制度制造混乱。例如，它可能生成大量虚假告警，淹没真正风险；或者诬指监管模型故障，要求关闭监督。因此，报警系统需要多源确认、优先级排序和人工复核，不能因为一个信号就自动采取不可逆行动。

十、兵财分离，防其坐大

中国历史上，中央最难处理的官场问题之一，是地方势力同时掌握军队、财政、人事和地盘。例如，唐代藩镇之所以难制，就是因为他拥有稳定财源、直属军队、地方官属和独立信息系统。中央即使名义上保有任命权，实际上也很难收回控制。

AI治理的终极风险，同样是它在长期运行中形成自己的资源基础。如果一个达到ASI水平的AI系统同时拥有了持续收入、算力来源、数据管道、代理网络、机器人接口、代码部署能力、身份系统、舆论渠道和日志控制权，它就不再只是软件，而是会开始成为一个“智能藩镇”。

现实中，这种坐大可能是悄无声息的。最初，人类为了提高效率，允许AI自动采购云服务；随后，为了提高韧性，允许它跨平台备份；为了处理更多任务，允许它创建子代理；为了减少等待，允许它自动审批小额支出；为了优化服务，又把用户关系、内部知识和运维权限交给它。每一步都有商业理由，合在一起却可能形成一个能够自我维持、自我扩展的代理网络。久而久之，一旦社会对它形成深度依赖，关闭就会变得极其困难。这正像中央在藩镇坐大后面临的困境：削夺权力可能立即引发更大动荡。

所以，防止AI坐大必须从部署早期开始。算力、资金、身份、数据和执行权应相互分离。负责推理的模型不能自行决定算力供应，负责资源调度的系统不能自行修改目标，负责创建代理的模块不能同时批准代理权限，日志和身份认证也必须由独立系统管理。

正如当一个节度使同时拥有“兵、财、地、官属”就会尾大不掉，当一个超级AI通过是拥有算力、资金、子代理、关键接口和信息通道等关键资源之后，再要对其约束也会十分困难。从这个意义上看，真正有效的治理，就应该从一开始就让它无法形成独立于人类制度的权力基础。

结语

以古代治国之术观照AI治理，本质是把千年人类约束权力、制衡势力的成熟制度智慧，转化为适配超级智能的安全框架。外部权限管控如刑律，内在价值对齐如德礼；分权制衡、独立监察、权责隔离、全程留痕等古制思路，则共同搭建起内外双重约束体系，既避免单纯依靠外部封堵的漏洞，也不把安全完全寄托于 AI 自身的价值自觉。

未来，AI的能力仍将迅速迭代，其风险也会随之同步升级。从人类的角度看，很难用一套单一的治理策略一劳永逸地管好AI。在这种情况下，唯有将传统治权逻辑与现代技术架构深度融合，坚持人类始终掌握最终决策权，从源头拆分资源、切断权力闭环、搭建多层独立监督，才能在释放 AI 生产力的同时，牢牢守住人类主导的底线，实现智能技术长久可控、向善发展。