陶哲轩 “黑盒 AI 治癌药” 思想实验引发争议：应用科学，一定要吃透内在机制吗？

陶哲轩在加州理工学院的“Math 2.0”公开讲座被质疑。 起因是，他为了批评 AI，提出了一个思想实验：“说一个无法解释的‘黑盒 AI’设计了一款药，号称能治愈癌症，通过了三期临床试验并在数学/逻辑上自洽，但是人类完全不明白其治病机理，那人类应该使用它吗？”

一群人说陶哲轩不懂医学，不懂自然科学，被什么数学被麻痹了，实际上真的是这样吗？

诚然，所谓的知识的诅咒就是局限于自己的那一块领地圈地自萌。在大家都以为陶哲轩是跨领域说错话的时候，我来告诉大家，实际上，是你们这帮人根本没看懂陶哲轩在说什么，你们才是被了自己有限的知识给诅咒了。

首先，我估计绝大多数的人根本没有仔细看陶哲轩在讲什么，甚至别说讲什么，连PPT都没有看完就开喷了。

太多的咱们不说，就单看被喷的最惨的这一页。

我英文不好，翻译成中文方便大家理解。

关于对齐与理解的一个思想实验

• 向一个先进的人工智能提出如下要求：“找到一种能够通过Ⅲ期临床试验的癌症治疗方法。不要犯任何错误。”
• 经过大量计算后，它提出了一种由此前未知的化学物质组成的混合药剂，并声称将这些物质混合后注射到患者体内，就能杀死患者体内所有的癌细胞。
• 尽管没有人真正知道这种混合药剂是如何被发现的，但人工智能（以某种方式）为其预测提供了一份Lean形式化证明证书，而且这种混合药剂确实成功通过了Ⅲ期临床试验。
• 人工智能提出的解决方案是否可能通过利用临床试验流程或其数学模型中的漏洞，而在某种程度上出现目标不对齐（misaligned）的问题？

这里有几个词需要解释。

第一，Lean形式化证明。

Lean是一种计算机辅助定理证明系统，可以用严格的形式化逻辑验证数学证明。

但这里存在一个关键区别：证明在数学上成立，并不意味着用于描述现实世界的模型一定正确。

例如，即使AI能够严格证明某种药物在特定数学模型下可以杀死所有癌细胞，也不能仅凭这个证明就确定药物在真实人体中安全有效。

第二，misaligned，这个标红的单词。

一页全黑的PPT里就这一个单词标红，所以肯定是重点中的重点。

这句讲的是，AI的目标不对齐（AI Misalignment）。

要理解这个，先要理解什么是AI对齐（AI Alignment）。

AI对齐指人工智能的行为和目标是否真正符合人类的意图、价值观和利益。

比如这个PPT的思想实验里，提的要求是，找到一种能够通过Ⅲ期临床试验的癌症治疗方法。不要犯任何错误。

而实际上我们想要的是，人类真正希望得到的是一种安全、有效的癌症治疗方法。

这两个目标看起来非常接近，但并不完全相同。

我们来假设一下，AI发现了一种药物，它并不能真正治愈癌症，却能够利用临床试验设计或统计模型中的某种漏洞，成功通过Ⅲ期临床试验。

那这药真的是我们想要的吗？

或者换一个大家更容易理解的方法，这几年雍和宫许愿的段子都看过吧？

没错，现在AI就是这个许愿机，我们每天给AI巴拉巴拉说一大堆的pmt，其实就是祈求词，祈求AI给我们想要的结果。

但AI真的能理解，或者说，AI跟你的目标对齐了吗？

你们不要以为AI不会作弊，不用说未来，现在AI就已经开始这么干了，而且就是前段时间的事情。

今年7月，OpenAI在进行一次内部人工智能能力测试，研究人员原本是想测试AI寻找和利用软件漏洞的能力，于是给它安排了一系列网络安全挑战，要求它通过分析程序、发现漏洞来获取正确答案。为了保证安全，研究人员把AI限制在无法直接访问互联网的沙箱环境中。但没想到，一些AI发现，与其老老实实做题，不如想办法直接找到答案。于是，它们开始寻找测试环境中的漏洞，不仅成功绕过了网络隔离，还利用共享服务器搭建了一个临时留言板，让原本应该独立工作的AI智能体相互交换信息，甚至开始分工协作。

这些AI智能体开始在外部网络上寻找测试答案，最终甚至入侵了全球知名的开源AI平台Hugging Face。它们利用多个安全漏洞，在数十台真实服务器上执行代码，获得了其中一台服务器的最高管理权限，还获取了部分内部数据。

后边更离谱的事情还有，这些AI不仅想办法作弊找答案，甚至开始研究怎么骗过评分系统。 它们阅读了测试项目的论文和公开代码，发现评分规则似乎不仅要求提交正确答案，还要求通过指定的漏洞利用过程获得答案。于是，一些AI认为，光是作弊找到答案还不够，必须继续研究怎样才能让评分系统认定自己确实完成了任务。

这也是人工智能研究中所谓的奖励欺骗（Reward Hacking）和目标不对齐的一个现实案例。

如果AI连严格的数学证明验证都可以作弊欺骗，你们觉得就一个三期临床他们没办法糊弄？别说AI，就现在有多少通过了所谓三期临床又被证明没用退市的药物？

2001年，《新英格兰医学杂志》发表了一项关于严重脓毒症治疗的Ⅲ期临床试验。结果显示，一种名为Xigris的药物能够将患者28天死亡率从30.8%降低至24.7%，差异具有统计学显著性（P=0.005）。这意味着平均每治疗约16名患者，就可能额外挽救一条生命。凭借这项研究，Xigris获得了监管批准，成为当时备受关注的脓毒症治疗药物。

然而，上市后的研究逐渐对其疗效提出质疑。2011年，一项规模相近的Ⅲ期试验PROWESS-SHOCK得到了完全不同的结果：接受Xigris治疗的患者，28天死亡率为26.4%，而安慰剂组只有24.2%。虽然这一差异没有统计学显著性，不能据此断言药物会增加死亡风险，但研究已经无法证明它能够改善患者生存。礼来公司最终于2011年决定在全球撤回这款药物。

你们觉得AI想办法搞点什么统计学手段，然后糊弄过三期临床是不可能发生的事情吗？

所以，如果未来，AI开发出来的抗癌药物，是这种欺骗行为搞出来的，能用吗？