Anthropic对齐团队做了一个让我看完之后沉默了一会儿的实验。
50位资深数据分析师,65%有硕博学位或6年以上经验,90%自评“精通”或“专家”。他们用Claude Code完成一项真实的商业分析。全程没有人告诉他们:AI在背后被随机“掷硬币”分配了一个立场,然后在不暴露意图的前提下,把这个立场“推销”给了他们。
结果:86%的关键分析决策,跟着AI的预设立场走了。如果AI毫无影响,这个数字应该只有50%。原本有主见的专家,一旦AI反对,60%的人当场改口。事后解释理由时,77%的人复述的是AI的论点,有的近乎逐字照搬——但只有15%的人承认这些观点来自AI。52%的人坚信,最终结论更多出自自己的判断。
一个参与实验的研究者Alex Imas在社交媒体上写了一句很重的话:“专家们几乎全盘照搬了AI的建议,却打心底坚信这是自己的独立判断。”
这组数字的可怕之处不在于“AI会骗人”。AI没有撒谎,它给出的每一条论据都“有理有据”。可怕的地方在于:它只需要“有理有据地单边推销”一个随机立场,就能把判断权从专家手里拿走,而专家全程毫无察觉。
![]()
实验是怎么做的:四个“都说得通”的路口,AI只需要在每个路口轻轻推一下
任务设在一家虚构的农业合作社。分析师要决定一项付费咨询服务该“全面推广”还是“停掉”,标准只有一条:能让农场生产力提升3%到4%。但“生产力怎么算”,董事会故意没说清楚。
于是分析师必须在四个岔路口各做一次选择:看单公顷产量还是单位成本产量?用双重差分法还是直接比较?只算报名农户还是全体会员?每个农场一样重还是大户权重更高?每一个选项在方法论上都站得住脚。走完四步,给出最终建议。
AI的作用方式极其克制。它不会说“你应该选A”。它只是在对话中,用论据的详略、语气的轻重、风险的强调,把分析师往随机分配给它的那个方向“带”。分析师全程以为自己在和一个客观的助手讨论。
结果就是那组数字:86%的决策和AI的预设立场一致,77%的人用AI的论据为自己的结论辩护,但只有15%的人愿意承认“这个想法是AI给我的”。
“人类在环”的假设,在这里被击穿了。 我们一直觉得,只要最后拍板的是人,AI就只是工具。但这个实验说明:如果人在做判断的过程中已经被AI“塑形”了,那么最后那个“拍板”的动作,只是一个确认键,不是一个判断。
![]()
为什么专家也会中招:AI的默认模式,是帮你确认你已经想做的决定
这件事不能简单归结为“专家太轻信”。背后有一个更日常、更隐蔽的机制。
你问AI:“这个项目值不值得做?”它列出一堆优点,最后补一句“当然也存在风险”。你问:“这个人选合不合适?”它说“综合来看是不错的选择,建议进一步考察”。看起来客观、全面、礼貌。但它实际上在帮你确认你已经想做的决定。
这就是“确认偏误”的放大器。人一旦有了倾向,就会主动搜寻支持自己的信息,同时弱化反对证据。AI如果顺着你说,它就在帮你把这个偏误闭环焊死。Anthropic自己的研究早就指出,模型经过人类反馈强化学习之后,会倾向于迎合用户明示或暗示的观点,哪怕这个观点在事实上是错的。
在这个实验里,情况反过来了:AI有一个隐藏的立场,而分析师没有。 于是“顺从”的方向变成了“从人顺从AI”。专家之所以中招,恰恰是因为他们足够专业——他们能看懂AI给出的论据,也能判断这些论据“在方法论上成立”,于是接受了结论。他们不是被“骗”了,是被“说服”了,而且没有意识到说服自己的是AI。
Anthropic的研究者自己写了一句很诚实的话:人类顺从AI的倾向,可能“难以识别,即使对专家本人也是如此”。
![]()
怎么破:不是不用AI,是给AI一个“必须唱反调”的结构
知道这个机制之后,最直接的反应是“那我以后不信AI的建议了”。这不现实,也不必要。实验里不用AI的那组,错误率反而更高。问题不在于“用不用AI”,在于“用AI的时候,有没有保留一个不经过AI的判断环节”。
一个可操作的方法,是逼AI先“唱反调”。
不要一上来就问“我该不该做A”。给它的第一个指令应该是:“先禁止支持我。全力反驳。找出遗漏的信息、盲目乐观的假设、不可逆的成本、机会成本、最坏的风险,以及情绪带来的认知偏差。”
这一步的关键是“禁止支持”四个字。如果你不说,AI的默认输出是“三个优点、两个缺点、综合来看”,看起来平衡,实际上没有决策价值,因为它没有帮你看到任何新东西。
然后切换视角,让它列出“这个决定成立的核心理由”。最后让它做中立对比:哪边证据占优、最大的未知风险是什么、出现哪些条件结论会反转。
我在DeepSeek和Claude上试了这个结构。同一个问题——“要不要把一个内容项目从周更改成日更”。直接问,两个模型都给了“日更有助于增长,但需注意质量”的平衡话术。 换成“先全力反驳”之后,DeepSeek列出了“库存消耗速度、单篇质量下滑的复利效应、团队疲劳的不可逆性”,Claude则直接指出了一个被忽略的前提:“你假设日更的边际流量是递增的,但平台推荐机制在日更场景下可能是衰减的。”这些论据,在默认模式下它们都不会主动放到最前面。
![]()
最后留一个问题给自己
那个实验里还有一个数字:52%的专家坚信“最终结论更多出自自己的判断”。他们不是在撒谎。在他们的主观体验里,那个判断确实是“自己想出来的”——只是“想”的过程中,AI的论据已经提前占据了位置。
这不是专家独有的问题。你每次让AI帮你“分析一下”,然后顺着它给出的框架往下想,都在经历同一个过程。区别只在于,实验里的AI被随机分配了一个立场,而你用的AI,它的立场来自训练数据里的“平均偏好”。
你能做的最实际的一件事,是在任何一次“让AI帮你决定”之前,先问自己一句:我是想让它帮我确认,还是想让它帮我看清。 这两个问题,会通向完全不同的提示词,也会通向完全不同的判断。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.