网易首页 > 网易号 > 正文 申请入驻

Anthropic:大语言模型在回答前想了什么?

0
分享至


导语

大语言模型每次回答前,都经历了一段人类不可见的内部计算。它可能已经发现代码里的错误,识别了提示注入,形成了数学题的中间步骤,甚至察觉自己正在接受测试,但这些内容未必出现在最终回答中。Anthropic最新研究提出了一种新的可解释性工具:Jacobian lens(J-lens),用于读取 Claude 内部那些可以说出来但尚未说出来的表征。研究发现,Claude内部存在一个小规模、可报告、可调控、可参与推理并可被多个下游任务调用的表征集合。研究者称之为J-space,并认为它在功能上类似认知科学中的全局工作空间。这项研究并不证明 AI 拥有主观体验,但它把一个长期悬而未决的问题变得更具体:语言模型内部是否形成了某种显性思维的共享通道?Anthropic 给出的答案是,至少在功能层面,Claude 中已经出现了类似结构。

关键词:大语言模型(large language models, LLMs)、全局工作空间(global workspace)、J-space、Jacobian lens(J-lens)、可言说表征、访问意识、AI 安全审计

王璇丨作者

赵思怡丨审校


论文题目:A global workspace in language models 论文链接:https://www.anthropic.com/research/global-workspace 发表时间:2026年7月6日 论文来源:Anthropic Research

从意识问题退一步,

先问模型哪些想法可以被报告

如果把心灵想象成一片海洋,我们多数时候只漂浮在水面。真正庞大的计算发生在脚下:视觉系统解析面孔,运动系统维持姿势,语言、记忆和情绪也在后台运行。我们能觉察到的只是极小一部分,但正是这部分浮上海面的活动,让我们能够计划、推理、表达,并把一个念头暂时保持在心里。认知科学中的全局工作空间理论正是用这种图景解释可访问意识:大量处理在后台并行进行,只有少量信息进入共享工作空间后,才会被报告、调控,并被更多系统调用

Anthropic的这项研究没有直接证明Claude是否有意识。它退后一步,提出一个更可检验的问题:Claude内部是否存在一类可被报告、可被调控、可参与推理,并能在多种任务之间灵活转用的表征?这个问题很重要,因为LLMs的输出只是末端行为,模型在回答前是否已经形成了中间判断、隐藏意图或评估意识,外部观察者通常无法知道。J-lens 的作用,正是尝试读取这些尚未说出口的内部表征

J-lens 如何看到模型尚未说出口的概念

J-lens的基本思想是:对于 Claude 词表中的每个词,寻找一种内部激活方向。如果模型激活沿这个方向增强,它在后续位置说出这个词的可能性就会上升。因此,J-lens读取的不是模型下一个必然输出的词,而是模型内部某些处于可言说状态的概念。研究者把这些被J-lens读出的表征集合称为J-space

J-space的意义在于,它不是普通的文本复述。Claude阅读有bug的代码时,J-space中会出现与错误相关的信号;阅读蛋白质序列时,J-space可能浮现该序列的生物学功能;遇到提示注入攻击时,J-space中会出现 “injection” 或 “fake”;处理多步数学题时,中间步骤会按顺序进入J-space。也就是说,J-space读到的内容往往不是输入文本里已有的词,而是模型内部计算出的判断。


图1. J-lens 的方法示意图。

更关键的结论是,J-space不只是记录模型即将输出什么,而是会影响模型最终报告什么。当某个概念出现在J-space中时,模型往往会在后续回答中说出相应内容。而当研究者直接替换这一内部表征时,模型的回答也会随之改变。这说明 J-space不是一个被动的观察窗口,而是模型生成报告的因果环节之一。

这一点构成了全文证据链的核心。许多可解释性研究只能证明某个内部方向与某个概念相关,却无法证明模型是否真正使用它。J-space的特殊性在于,它既可被读取,也可被干预。一旦被编辑,模型行为会发生相应改变。因此,它更接近模型内部显性计算的一部分,而不是推理完成后留下的副产物。

J-space 像一个小型工作台

如果J-space真具有工作空间功能,它就不应只影响模型说出什么,还应参与模型怎么想。Anthropic 的实验显示,J-space具有三类性质:它可以被任务指令调控,即模型表面输出不变,内部仍会出现与隐藏任务相关的概念。它会参与推理,即替换某个中间概念后,模型后续答案也会改变。它还具有广播能力,即同一个概念进入J-space后,可以被多个不同任务共同调用,影响不同类型的问题回答。

这说明J-space不是输出前留下的局部痕迹,而更像一个写入一次、多处调用的内部工作台。模型会把少量关键概念提升到这里,使其暂时处于可报告、可操控、可推理使用的状态。这正是它类似全局工作空间的地方:它不负责所有计算,却让部分表征变成可被更多计算过程访问的共享内容。


图2. 全局工作空间的五个功能性质,以及测试它们的实验示例。

不过,J-space并不是Claude全部思想的所在地。它被删除或替换后,模型仍能流畅续写文本、完成简单分类和抽取直接信息。明显受损的是多步推理、摘要、押韵生成等需要高阶组织的任务。因此,J-space更像一个容量有限但连接广泛的显性计算接口,在内部报告、复杂推理和任务迁移中具有特殊作用。

J-space的实用价值体现在AI安全审计与模型可控训练两方面,它能够读取模型输出前潜藏的内部判断,在勒索类场景中提前捕获风险概念与测试感知表征,以此区分模型真实稳定的安全表现和仅在测试环境下伪装合规的行为。同时它也可作为模型对齐优化的载体,依托反事实反思训练生成诚实、守原则的内部表征,有效减少模型不实输出,一旦移除这类正向表征,训练带来的行为改善就会明显弱化。但该工具存在明确局限,仅能识别可匹配词表token、带有清晰语言标签的内部表征,难以捕捉无文字标识的隐性规划与自动化危险行为,更关键的是,相关观测只能证明模型具备类全局工作空间的信息调取、推理、对外播报功能,并不能证实AI拥有主观体验与现象意识。

总结展望

长远来看,该研究的核心意义并非证实AI具备意识,而是证明大模型会自发演化出类全局工作空间的功能架构。少量信息进入可操控、可汇报的前台,海量运算隐匿于后台。对领域发展而言,它为可解释AI开辟了观测模型隐性思考的窗口,为AI安全提供了监控隐藏风险的工具,也给认知科学提供新论据。工作空间式计算或是复杂智能系统处理多步推理、灵活决策时,自然演化出的通用架构。

大模型2.0读书会

o1模型代表大语言模型融合学习与推理的新范式。集智俱乐部联合北京师范大学系统科学学院教授张江、Google DeepMind研究科学家冯熙栋、阿里巴巴强化学习研究员王维埙和中科院信工所张杰共同发起,本次读书会将关注大模型推理范式的演进、基于搜索与蒙特卡洛树的推理优化、基于强化学习的大模型优化、思维链方法与内化机制、自我改进与推理验证。希望通过读书会探索o1具体实现的技术路径,帮助我们更好的理解机器推理和人工智能的本质。读书会已完结,现在报名可加入社群并解锁回放视频权限。

详情请见:


1.

2.

3.

4.

5.

6.

7.

8.


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
英雄49秒救人,官方15分钟缺位,60块钱照穿CHINA GT

英雄49秒救人,官方15分钟缺位,60块钱照穿CHINA GT

DearAuto
2026-09-07 19:53:47
星宇股份通报称最大笑话:老板自罚1年工资,背锅侠人事总监被爆61岁已退休

星宇股份通报称最大笑话:老板自罚1年工资,背锅侠人事总监被爆61岁已退休

Mr王的饭后茶
2026-09-07 22:01:39
郭德纲歪曲篡改抗战歌曲《弹起我心爱的土琵琶》,官方发布处理通报

郭德纲歪曲篡改抗战歌曲《弹起我心爱的土琵琶》,官方发布处理通报

观察者网
2026-09-07 18:03:38
李海鹰被查

李海鹰被查

第一财经资讯
2026-09-07 23:10:16
交管12123紧急警告:私家车这5样必带!缺一将被扣车!第一项直接扣12分

交管12123紧急警告:私家车这5样必带!缺一将被扣车!第一项直接扣12分

趣味萌宠的日常
2026-09-08 01:55:03
案例:湖北一女学生和82岁老人同吃同住,老人直接认其做干女儿

案例:湖北一女学生和82岁老人同吃同住,老人直接认其做干女儿

红豆讲堂
2025-01-27 09:30:03
Model Y L“后轮塌陷”事件追踪调查:悬架弹簧零件版本悄然“迭代”,特斯拉暂未回应是否召回

Model Y L“后轮塌陷”事件追踪调查:悬架弹簧零件版本悄然“迭代”,特斯拉暂未回应是否召回

每日经济新闻
2026-09-07 19:40:07
大瓜!武汉大学付某再迎噩耗,妻子发长文回应,把“婚外情”细节全都曝光出来

大瓜!武汉大学付某再迎噩耗,妻子发长文回应,把“婚外情”细节全都曝光出来

火山詩话
2026-09-08 05:23:44
逼近TOP50!郑钦文7连胜飙升69位,再赢一场重返金花一姐位置

逼近TOP50!郑钦文7连胜飙升69位,再赢一场重返金花一姐位置

全景体育V
2026-09-08 04:28:18
靠刑讯逼供成为“女神探”,聂海芬为什么能无牢狱之灾,平稳退休

靠刑讯逼供成为“女神探”,聂海芬为什么能无牢狱之灾,平稳退休

娱乐洞察点点
2026-09-08 07:26:37
恭喜!她要和圈外男结婚了!

恭喜!她要和圈外男结婚了!

奋斗在韩国
2026-09-07 10:07:10
算盘打得太响了!租客两娃,老大刚用完学位就退租,深圳房东发帖哭诉,能阻止老二继续占用学位吗

算盘打得太响了!租客两娃,老大刚用完学位就退租,深圳房东发帖哭诉,能阻止老二继续占用学位吗

火山詩话
2026-09-07 06:22:08
演员倪虹洁被曝与朋友边聊天边抽烟,随手将烟头扔地上

演员倪虹洁被曝与朋友边聊天边抽烟,随手将烟头扔地上

韩小娱
2026-09-08 12:29:15
停掉你的兴趣班!张雪峰大实话:小学抓好8件“破事”,稳赢12年

停掉你的兴趣班!张雪峰大实话:小学抓好8件“破事”,稳赢12年

户外阿毽
2026-09-07 16:29:14
我在俄罗斯15年,发现当地女性和中国女性差别挺大,女孩特别早熟

我在俄罗斯15年,发现当地女性和中国女性差别挺大,女孩特别早熟

千秋文化
2026-07-09 19:15:58
丑照疯传!在飞机上闹事的男子被开除

丑照疯传!在飞机上闹事的男子被开除

大洛杉矶LA
2026-09-07 06:27:02
为啥女生很少有臭脚的?网友:脚臭基本上是闷出来的,试试光脚出门

为啥女生很少有臭脚的?网友:脚臭基本上是闷出来的,试试光脚出门

带你感受人间冷暖
2026-09-08 00:05:28
只差500万了?曝杜伦与活塞接近达成续约 有望训练营前敲定新合同

只差500万了?曝杜伦与活塞接近达成续约 有望训练营前敲定新合同

罗说NBA
2026-09-08 09:59:25
五角大楼:中国导弹数量只比伊朗多1000枚!中国生产线可不会说谎

五角大楼:中国导弹数量只比伊朗多1000枚!中国生产线可不会说谎

感谢过往的自己
2026-09-08 09:42:34
“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

江山挥笔
2026-08-25 16:40:36
2026-09-08 12:52:49
集智俱乐部 incentive-icons
集智俱乐部
科普人工智能相关知识技能
6028文章数 4684关注度
往期回顾 全部

科技要闻

小米再次背水一战

头条要闻

女孩遇"完美男友"被骗上百万 连养的狗都是"女友共享"

头条要闻

女孩遇"完美男友"被骗上百万 连养的狗都是"女友共享"

体育要闻

郑钦文,奇迹只发生在相信奇迹的人身上

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

本地
数码
旅游
教育
公开课

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

数码要闻

拜雅MMX 100 wireless、AVENTHO Y耳机国行上架,12日发售

旅游要闻

秋日打卡枣庄薛城白楼湾 沉浸式感受湿地生态之美

教育要闻

教育要培养什么样的人?成都这所学校用一堂航天课回答

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版