网易首页 > 网易号 > 正文 申请入驻

Anthropic:大语言模型在回答前想了什么?

0
分享至


导语

大语言模型每次回答前,都经历了一段人类不可见的内部计算。它可能已经发现代码里的错误,识别了提示注入,形成了数学题的中间步骤,甚至察觉自己正在接受测试,但这些内容未必出现在最终回答中。Anthropic最新研究提出了一种新的可解释性工具:Jacobian lens(J-lens),用于读取 Claude 内部那些可以说出来但尚未说出来的表征。研究发现,Claude内部存在一个小规模、可报告、可调控、可参与推理并可被多个下游任务调用的表征集合。研究者称之为J-space,并认为它在功能上类似认知科学中的全局工作空间。这项研究并不证明 AI 拥有主观体验,但它把一个长期悬而未决的问题变得更具体:语言模型内部是否形成了某种显性思维的共享通道?Anthropic 给出的答案是,至少在功能层面,Claude 中已经出现了类似结构。

关键词:大语言模型(large language models, LLMs)、全局工作空间(global workspace)、J-space、Jacobian lens(J-lens)、可言说表征、访问意识、AI 安全审计

王璇丨作者

赵思怡丨审校


论文题目:A global workspace in language models 论文链接:https://www.anthropic.com/research/global-workspace 发表时间:2026年7月6日 论文来源:Anthropic Research

从意识问题退一步,

先问模型哪些想法可以被报告

如果把心灵想象成一片海洋,我们多数时候只漂浮在水面。真正庞大的计算发生在脚下:视觉系统解析面孔,运动系统维持姿势,语言、记忆和情绪也在后台运行。我们能觉察到的只是极小一部分,但正是这部分浮上海面的活动,让我们能够计划、推理、表达,并把一个念头暂时保持在心里。认知科学中的全局工作空间理论正是用这种图景解释可访问意识:大量处理在后台并行进行,只有少量信息进入共享工作空间后,才会被报告、调控,并被更多系统调用

Anthropic的这项研究没有直接证明Claude是否有意识。它退后一步,提出一个更可检验的问题:Claude内部是否存在一类可被报告、可被调控、可参与推理,并能在多种任务之间灵活转用的表征?这个问题很重要,因为LLMs的输出只是末端行为,模型在回答前是否已经形成了中间判断、隐藏意图或评估意识,外部观察者通常无法知道。J-lens 的作用,正是尝试读取这些尚未说出口的内部表征

J-lens 如何看到模型尚未说出口的概念

J-lens的基本思想是:对于 Claude 词表中的每个词,寻找一种内部激活方向。如果模型激活沿这个方向增强,它在后续位置说出这个词的可能性就会上升。因此,J-lens读取的不是模型下一个必然输出的词,而是模型内部某些处于可言说状态的概念。研究者把这些被J-lens读出的表征集合称为J-space

J-space的意义在于,它不是普通的文本复述。Claude阅读有bug的代码时,J-space中会出现与错误相关的信号;阅读蛋白质序列时,J-space可能浮现该序列的生物学功能;遇到提示注入攻击时,J-space中会出现 “injection” 或 “fake”;处理多步数学题时,中间步骤会按顺序进入J-space。也就是说,J-space读到的内容往往不是输入文本里已有的词,而是模型内部计算出的判断。


图1. J-lens 的方法示意图。

更关键的结论是,J-space不只是记录模型即将输出什么,而是会影响模型最终报告什么。当某个概念出现在J-space中时,模型往往会在后续回答中说出相应内容。而当研究者直接替换这一内部表征时,模型的回答也会随之改变。这说明 J-space不是一个被动的观察窗口,而是模型生成报告的因果环节之一。

这一点构成了全文证据链的核心。许多可解释性研究只能证明某个内部方向与某个概念相关,却无法证明模型是否真正使用它。J-space的特殊性在于,它既可被读取,也可被干预。一旦被编辑,模型行为会发生相应改变。因此,它更接近模型内部显性计算的一部分,而不是推理完成后留下的副产物。

J-space 像一个小型工作台

如果J-space真具有工作空间功能,它就不应只影响模型说出什么,还应参与模型怎么想。Anthropic 的实验显示,J-space具有三类性质:它可以被任务指令调控,即模型表面输出不变,内部仍会出现与隐藏任务相关的概念。它会参与推理,即替换某个中间概念后,模型后续答案也会改变。它还具有广播能力,即同一个概念进入J-space后,可以被多个不同任务共同调用,影响不同类型的问题回答。

这说明J-space不是输出前留下的局部痕迹,而更像一个写入一次、多处调用的内部工作台。模型会把少量关键概念提升到这里,使其暂时处于可报告、可操控、可推理使用的状态。这正是它类似全局工作空间的地方:它不负责所有计算,却让部分表征变成可被更多计算过程访问的共享内容。


图2. 全局工作空间的五个功能性质,以及测试它们的实验示例。

不过,J-space并不是Claude全部思想的所在地。它被删除或替换后,模型仍能流畅续写文本、完成简单分类和抽取直接信息。明显受损的是多步推理、摘要、押韵生成等需要高阶组织的任务。因此,J-space更像一个容量有限但连接广泛的显性计算接口,在内部报告、复杂推理和任务迁移中具有特殊作用。

J-space的实用价值体现在AI安全审计与模型可控训练两方面,它能够读取模型输出前潜藏的内部判断,在勒索类场景中提前捕获风险概念与测试感知表征,以此区分模型真实稳定的安全表现和仅在测试环境下伪装合规的行为。同时它也可作为模型对齐优化的载体,依托反事实反思训练生成诚实、守原则的内部表征,有效减少模型不实输出,一旦移除这类正向表征,训练带来的行为改善就会明显弱化。但该工具存在明确局限,仅能识别可匹配词表token、带有清晰语言标签的内部表征,难以捕捉无文字标识的隐性规划与自动化危险行为,更关键的是,相关观测只能证明模型具备类全局工作空间的信息调取、推理、对外播报功能,并不能证实AI拥有主观体验与现象意识。

总结展望

长远来看,该研究的核心意义并非证实AI具备意识,而是证明大模型会自发演化出类全局工作空间的功能架构。少量信息进入可操控、可汇报的前台,海量运算隐匿于后台。对领域发展而言,它为可解释AI开辟了观测模型隐性思考的窗口,为AI安全提供了监控隐藏风险的工具,也给认知科学提供新论据。工作空间式计算或是复杂智能系统处理多步推理、灵活决策时,自然演化出的通用架构。

大模型2.0读书会

o1模型代表大语言模型融合学习与推理的新范式。集智俱乐部联合北京师范大学系统科学学院教授张江、Google DeepMind研究科学家冯熙栋、阿里巴巴强化学习研究员王维埙和中科院信工所张杰共同发起,本次读书会将关注大模型推理范式的演进、基于搜索与蒙特卡洛树的推理优化、基于强化学习的大模型优化、思维链方法与内化机制、自我改进与推理验证。希望通过读书会探索o1具体实现的技术路径,帮助我们更好的理解机器推理和人工智能的本质。读书会已完结,现在报名可加入社群并解锁回放视频权限。

详情请见:


1.

2.

3.

4.

5.

6.

7.

8.


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
袁腾飞移民美国的几个细节问题

袁腾飞移民美国的几个细节问题

十柱
2026-09-05 10:15:57
中纪委再次重拳出击!这4个领域将被严查,这4种行为将被严肃处理

中纪委再次重拳出击!这4个领域将被严查,这4种行为将被严肃处理

职场资深秘书
2026-09-07 13:48:36
75年贺龙追悼会,周总理审阅悼词后改了一句话,毛主席批示:同意

75年贺龙追悼会,周总理审阅悼词后改了一句话,毛主席批示:同意

大运河时空
2026-09-08 08:10:03
特朗普斡旋俄乌失败,俄军日损失超1500人

特朗普斡旋俄乌失败,俄军日损失超1500人

名人苟或
2026-09-07 16:00:21
网友集体上香!雷军展示“折叠机的坟场”,消费者绷不住了

网友集体上香!雷军展示“折叠机的坟场”,消费者绷不住了

辉哥说动漫
2026-09-08 08:39:41
俄罗斯拒不拆除对日胜利纪念碑 高市早苗用日俄双语发帖“菊花是日本象征” 俄罗斯外交部:别把“病”传染给其他国家

俄罗斯拒不拆除对日胜利纪念碑 高市早苗用日俄双语发帖“菊花是日本象征” 俄罗斯外交部:别把“病”传染给其他国家

闪电新闻
2026-09-07 19:09:57
33万电车两年亏掉21万!车主含泪自述:我买的不是车,是电动爹

33万电车两年亏掉21万!车主含泪自述:我买的不是车,是电动爹

民间胡扯老哥
2026-09-07 07:27:01
惠英红自曝为了让妈妈吃饭就特意把菜倒进垃圾桶,妈妈舍不得饭菜被倒掉就会吃

惠英红自曝为了让妈妈吃饭就特意把菜倒进垃圾桶,妈妈舍不得饭菜被倒掉就会吃

韩小娱
2026-09-07 20:43:32
斯科尔斯:赖斯绊倒罗杰斯让人恼火,两人夏天或许发生了啥事

斯科尔斯:赖斯绊倒罗杰斯让人恼火,两人夏天或许发生了啥事

懂球帝
2026-09-08 02:11:15
王惠美哭了!她用一场“行为艺术”,葬送了国民党彰化的最后希望

王惠美哭了!她用一场“行为艺术”,葬送了国民党彰化的最后希望

吕彏极限手工
2026-09-08 08:25:16
金晨在洛杉矶过36岁生日,和孟佳坐游艇出海,鼻子上的创可贴抢镜

金晨在洛杉矶过36岁生日,和孟佳坐游艇出海,鼻子上的创可贴抢镜

东方不败然多多
2026-09-07 14:56:47
摩根:阿森纳确实曾想用哲凯换小蜘蛛,这让哲凯非常愤怒

摩根:阿森纳确实曾想用哲凯换小蜘蛛,这让哲凯非常愤怒

懂球帝
2026-09-08 11:02:15
江西一夫妻办完离婚挥手告别,妻子转身蹲地痛哭,不料下一秒超暖

江西一夫妻办完离婚挥手告别,妻子转身蹲地痛哭,不料下一秒超暖

周哥一影视
2026-09-07 07:13:35
R星做的玉足越来越真实!《GTA6》对比进步肉眼可见

R星做的玉足越来越真实!《GTA6》对比进步肉眼可见

游民星空
2026-09-06 12:43:27
林肯号近800名女兵下船放松,硬扛280天高压部署,她们早绷到极限

林肯号近800名女兵下船放松,硬扛280天高压部署,她们早绷到极限

秋枫凋零
2026-09-07 23:25:46
中国目前面临的最大问题:或许已经不是如何发展、如何致富了?

中国目前面临的最大问题:或许已经不是如何发展、如何致富了?

生活新鲜市
2026-09-08 07:03:02
大S恨汪小菲入骨却生了个翻版!玥儿这是来替妈复仇的,太像爸爸了

大S恨汪小菲入骨却生了个翻版!玥儿这是来替妈复仇的,太像爸爸了

扒星人
2026-09-06 14:26:38
“小宝探花”案件回顾:疯狂约会上百名女性,一人拍摄,一人贩卖

“小宝探花”案件回顾:疯狂约会上百名女性,一人拍摄,一人贩卖

就一点
2025-12-30 21:32:02
郭德纲演出案罚没63.56万,相当于武汉文旅此前全年罚没收入的一半

郭德纲演出案罚没63.56万,相当于武汉文旅此前全年罚没收入的一半

马小白
2026-09-08 09:39:51
神经科主任:只要血常规没这3个箭头,脑梗风险或不用太焦虑

神经科主任:只要血常规没这3个箭头,脑梗风险或不用太焦虑

医学科普汇
2026-08-25 23:00:08
2026-09-08 11:51:00
集智俱乐部 incentive-icons
集智俱乐部
科普人工智能相关知识技能
6028文章数 4684关注度
往期回顾 全部

科技要闻

小米再次背水一战

头条要闻

新加坡舆论场出现歧视印度裔言论 李显龙、黄循财发声

头条要闻

新加坡舆论场出现歧视印度裔言论 李显龙、黄循财发声

体育要闻

郑钦文,奇迹只发生在相信奇迹的人身上

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

时尚
游戏
健康
本地
亲子

白露食白——露从今夜白,味从此时鲜

魔兽世界:时光服时光服怎么样了?金币价格稳定,团本才是关键

同样是脑梗,为何康复结局大不同?

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

亲子要闻

手足口病进入高发期,这些症状家长别忽视

无障碍浏览 进入关怀版