推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见

亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。

作者丨高允毅

编辑丨岑 峰

“大模型把猫和汽车分为一类，不是弱智。”在 AI 可解释性领域，有一个十年的经典案例，是InceptionV1 模型里编号 4e:55 的神经元。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着，整个神经网络的底层逻辑是不可解释的。于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。就在昨天，OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。“这个神经元根本不认识猫，也不认识车。它检测的是V 字几何形状，不管是狐狸的尖脸、喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。”他直言，这个误判的根源，或许是当年的观测工具太低级。2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目，用现有工具只能解释大约 2% 的神经元。结果三年后，当他带着更先进的算法和 Agent 团队重新研究，发现情况完全不同。在他们测试的现代视觉模型中，最后一层99%～100%的神经元都能找到相当清晰的解释。就连当年以 “深层混乱” 著称的 InceptionV1 本身，用新工具重新观测，可解释率大幅提升。因此，Nick Cammarata 发表了一篇需要阅读 65 分钟的长文《Neural Networks Are Already Clean》，并提出了一个惊人之论：神经网络本身，远比我们想象的要 “干净”。这里的 “干净”，不是指“一个神经元只干一件事”，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一个规整的地图，想看细节就 “双击放大”对此，OpenAI 核心研究员 roon 直接转发并惊呼，这是“科学史上的重要时刻”，“我们终于可以把 AI 对齐，变成一门‘常规科学’了”。毕竟，这篇文章一旦成立，等于把过去十年可解释性研究的核心焦虑推翻了。AI 圈过去几年，花大力气搞的稀疏自编码器（SAE）分解、特征字典、特征解缠，可能都走错了路。或许，可解释性领域也可以用“The Bitter Lesson”来解决，即简单即高效。

01

十年共识的诞生与反转
为什么人们会认为“AI 的大脑”是一团乱麻呢？这一切要从 2014 年的 InceptionV1 视觉模型说起。作为可解释性研究早期的 “模型生物”，研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时人们估计，最后一层能被人类看懂的神经元，学界认为只有区区 5%。其中最出名的，是 4e:55 的神经元，它让两个八竿子打不着的东西共用一个神经元，怎么看都违背“一个神经元对应一个概念”的朴素预期。为了解释这种现象，学术界提出了一个核心理论“叠加假说”（Superposition）。他们认为，当神经元数量不够用时，AI 就会偷偷切换学习策略，把互不相关的概念“折叠”进同一个神经元里。因为它们很少同时激活，所以不会互相干扰。2020 年，Cammarata 与 Chris Olah 在里程碑级论文《Zoom In》中又给出了更具象的证据：网络竟然把汽车的特征信号藏进了一组“狗神经元”中，这更加实锤了叠加现象。既然神经网络是缠结的，那就必须发明工具把它强行“拆开”。一直以来，Anthropic 和 OpenAI 等顶尖实验室，都把稀疏自编码器（SAE）作为主流方案，其思路是训练一个辅助模型，把原本硬塞在神经元里的多个特征强行拽出来，重新分类，贴上人类可读的标签。但 Nick Cammarata发现，每次观测工具的升级，看似混乱的神经元就会自动变得清晰一些。他忍不住怀疑，或许问题根本不在神经网络，而在我们观察网络的工具上。从 2009 年特征可视化技术刚诞生时，合成的迷幻图案，到引入变换鲁棒性后，较为清晰的神经元可视化图像，再到如今 Nick Cammarata团队通过微调参数，引导算法沿着“真实图像的激活路径”去观测，发现现代架构（如 ConvNeXt）最后一层 99% 以上的神经元变得清晰可读。原来这十年，大家一直在和工具误差较劲。

02

两个经典案例的 “翻案”
工具升级之后，可解释性领域的两个 “多义性” 经典案例，双双迎来反转。整个反转的核心逻辑，是用动态的机制与合理的几何特征，推翻了过去静态的、字面化的名词分类法。

▎案例一：“猫与汽车神经元” 案例

过去的特征可视化，本质是用梯度下降算法合成一张最能激活神经元的图。但算法为了追求最高激活值会“抄近路”，产生“奖励作弊”（reward hacking）问题。由于 ImageNet 训练集中猫狗类图片数量极多、特征极强，算法合成出的最强激活图像里，会混入猫的胡须、狗的皮毛这类语义残渣。研究者顺着这些附带特征解读，自然会误以为这是个 “动物神经元”。为此，Nick Cammarata团队用了两套更严谨的方法重新观测。第一，激活路径引导：精细化微调正则化参数，强制约束算法必须沿着真实图像的天然激活路径去合成特征，从而剥离掉算法自身产生的干扰噪音。第二，正负两极交叉验证法：不只研究 “什么能最强激活神经元”（正极），同时研究 “什么能最强抑制神经元”（负极），通过两端共同锚定神经元的真实功能。结果发现，神经网络原来是按照几何去分类的。在“猫车神经元” 案例里，它检测的是 V 字几何形状。任何 V 形轮廓都会触发它的正极，比如狐狸的尖脸、喷射的火焰、汽车的尖头、消防船喷出的 V 形水柱。反过来，所有圆形轮廓会触发它的负极，比如圆脸、圆球、圆形的车轮。

▎案例二：“汽车与狗神经元” 案例

而另一组“汽车与狗”的案例也是同样的道理。InceptionV1 训练数据里狗的图片远多于汽车，狗相关神经元也更密集，优化过程掉进 “狗的图像盆地” 就爬不出来，最后合成的 “最强激活图” 全是狗。
为了查明真相，Nick Cammarata团队这次引入了自动化 Agent 工具，对这组电路做了一场动态的梯度追踪和消融（控制变量剪线）实验。结合泛化轴线解离方法拆解后，他们发现，原来这组神经元根本不是 “狗神经元”，而是检测“物体是否正脸直接面对镜头、且两侧对称”的神经元。汽车的特征信号在这里被打上 “正面朝前” 的标签后，会继续向下游更深的层流动，并最终分流进真正的 “汽车分类电路” 和 “狗分类电路”。之前多义性误读的根源其实在于数据集偏差。本质上，特征天然就会沿着信号进行连续的泛化与分流。

03

神经元的真相是递归泛化？
既然神经网络不是胡乱叠加，那“多义性”现象是怎么来的？Nick Cammarata 给出了一个新的解释：递归泛化。他认为，神经元像树枝一样生长。一个神经元最初或许只识别油菜花。沿着 “黄色” 这条特征轴，它慢慢拓展到识别所有黄色物体；沿着 “圆形外形” 这条轴，又延伸到各类球状物体；再顺着 “花田里的生物” 这个关联路径，进一步覆盖花田里的狗，最后延伸到绿色的西兰花。如果人类只看到这个神经元同时响应油菜花和西兰花，很容易误以为模型逻辑混乱。但只要追溯它生长的完整路径就会发现：每一次分叉、每一次特征延伸，都具备连贯的逻辑。在语言模型里，递归泛化现象更夸张。 比如，原本只检测 “iy” 发音的神经元，训练中先延伸到了识别 “diy” 这个词，到最后，连完全不含 “iy” 音的短语 “Do it yourself” 都能激活它。所谓人类看不懂的逻辑，实际是神经网络在用它高维的逻辑，进行着语义延伸。这时候，传统学派一定会反驳：如果神经元真的不够用了，神经网络难道不会切换到叠加模式吗？为此，Nick Cammarata 设计了一个极限压力实验。他盯上了 InceptionV1 的 3b 层。这一层没有残差流，信号无法绕路传播。Nick Cammarata 将该层原本用于检测曲线的 480 个神经元，直接压缩至 10 个，相当于 48 倍压缩，然后从零重新训练。按叠加假说，空间严重不足时，神经网络肯定会把各种无关特征乱塞进这 10 个神经元。结果完全相反。这 10 个神经元个个清晰可解释，它们只是每个管得更宽了：一个“曲线与环”神经元，主动合并了原来 10 个不同角度的细分曲线检测器；两个“圆形”神经元，包揽了原本复杂的多种圆形分类。他还得到了一个颠覆性的发现，经过 SAE “解缠”拆出来的特征，不仅没有变干净，其响应宽度反而比原始神经元粗了好几倍。这意味着那些过去几年让无数科学家欢呼、声称“从网络黑盒里解缠出来的叠加特征”……很可能，根本就是 SAE 这个工具自己制造出来的数学假象。

04

网友质疑没有新花样
长文发布后，Nick Cammarata 的推特变成了网友们的大型提问区。有人提问，当未来出现非 Transformer 架构时，这套方法还适用吗？Nick Cammarata不仅给出肯定的回答，还表示性能越好的模型，内部其实越容易被解释。旧式卷积神经网络、新式卷积神经网络、现代 Transformer 模型这三种截然不同的底层架构，已经证明了这套理论的通用性。Zapier 联合创始人 Mike Knoop 在线追问，能不能直接把神经网络的“干净度”做成一个正式的行业评估指标？Nick Cammarata 表示这并不难。人类过去太低估原生电路的可研究性了，其实控制激活、消融剪线、盲区探测等方法，都可以直接给神经网络的底层秩序“打分”。而叠加理论的核心奠基人之一， Google DeepMind 机制可解释性团队负责人 Neel Nanda，却直接泼了一盆冷水。他直言：“这篇文章虽然有趣，但对于可解释性而言，并没有带来什么实质性的突破”。Neel 一针见血地指出，双方争论的根本不是同一个 “叠加”。“叠加” 这个词在领域里至少有五六种定义，最核心的是两种，一种是“任意叠加”，即网络会把毫无关系的特征塞在一个神经元里，这是 Cammarata 推翻的版本。 另一种是他所捍卫的“表征叠加”，大语言模型能记住远超神经元数量的知识，靠的是用极少数的神经元通过线性组合去表达海量的概念。二者的靶子本就不在一处。在此基础上，Neel 从三个维度提出了具体的技术质疑。首先是“弱激活”的定位问题。Nick 认为弱激活大多是语义延伸的次级树枝，砍掉也无伤大雅。但 Neel 指出，弱神经元激活里存储了海量的事实和记忆组合，正是叠加的核心载体。Neel 同时强调，论文最扎实的证据全部来自视觉模型，但视觉和语言本质上不同。语言模型是海量事实、记忆、知识的载体，信息密度高几个量级。小图像模型本身记忆能力就差，不能证明大语言模型里也没有叠加。最后是为SAE（稀疏自编码器）正名。Neel 澄清，SAE 在残差流上依然是不可替代的工具，它能敏锐地反映模型每一层的信息瓶颈。这不是谁取代谁的问题，两者各有适用场景。针对这些质疑，Cammarata 也认同。他承认自己的文章只是一个“工作假设”，还有几个关键问题他没解决：可解释性并没有因为模型变大而“饱和”，巨型模型的内部依然很干净。这种超级规模本身带来的其他工程挑战，目前还远远没有被彻底解决。覆盖范围上，研究只涉及视觉和语言单模态模型，视觉 - 语言融合的多模态模型，尤其是融合层的电路组织形式，完全没有覆盖，很可能和单模态的规律完全不同。核心机制上，递归泛化只在图像模型里完整追踪了训练全过程；语言模型缺少训练过程的检查点数据，没法直接观测神经元一步步泛化的过程，只能从最终形态反推规律。工具定位上，他从未全盘否定 SAE：实验只证明在极度压缩的层上，SAE 拆不出干净的原生特征；但在正常未压缩的原始层，SAE 和原生神经元的形状匹配度高达 0.96-1.00，依然是高效工具。方法局限上，目前的结论高度依赖转向导向实验和归因图，本质都是 “扰动看效果” 的思路；不主动扰动系统、纯自然状态下的严格因果验证，目前仍是开放问题。即便这只是一份工作假设，它也正在迫使四个方向的从业者重新校准自己的技术方向：

• 做可解释性的团队：别再执着于用 SAE 去给网络做解缠手术了。直接抬头看原生神经元和电路，开展快速的常规观测。
• 做安全对齐的团队：这绝对是个好消息。如果原生网络天然可读，意味着对齐超级智能的门槛比想象中要低——虽然对齐依然困难，但至少“理解 AI 的门槛”暴跌了。
• 做架构设计的团队：残差流和 LayerNorm 这些为了让模型“学得更好”的改进，竟然意外地让网络变得更易读。未来的架构搜索完全可以把“可解释性”光明正大地加进指标里，因为它和性能完全兼容！
• 做应用层的工程团队：未来调控 AI 行为不需要再重新微调了。通过行为干预工程，“调节一个神经元，就直接改变模型在特定法律/医疗场景下的行为”，将从论文概念直接变成生产线上的产品功能！

上车，雷峰网带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈