网易首页 > 网易号 > 正文 申请入驻

Nat Human Behaviour 跨74 国结论 | 大语言模型模拟的偏好,能代替问卷吗?

0
分享至


● 认知神经科学前沿文献分享

论文信息:Simulated responses from large language models are weak proxies for human economic preferences across 74 countries

发表期刊:Nature Human Behaviour




大语言模型模拟的经济偏好,能代替跨国问卷吗?

让大语言模型扮演一位 35 岁的米国女性,问她愿不愿意为了拿到更多的钱再等一年,或者觉得陌生人值不值得信任,它答得出“米国人的样子”吗?

Fadong Chen, Qijun Wang, Lei Wang 和 Sudeep Bhatia 在 Nature Human Behaviour 上给出的答案是:答得出一部分。模型大致能说对性别、年龄和认知能力带来的差异方向,这类人口学梯度与真实数据一致的比例是 77.8%;换成国家之间的文化差异,一致率只有 48.1%,接近抛一枚硬币。把提示词里的国家标签去掉,结果几乎没变;去掉人口学信息,结果才变差。作者的结论是,AI 模拟答案目前还不能替代跨国问卷。



照着真实受访者造一批“虚拟人”


Fig. 1 | Study design. Following the GPS, we focused on six economic preferences: risk-taking, patience, negative reciprocity, positive reciprocity, altruism and trust.

参照物是 Global Preference Survey(GPS),一项测量风险偏好、耐心、正向互惠、负向互惠、利他和信任的跨国调查。本研究用到其中 67,201 名受访者,来自 74 个国家。研究者为每名受访者建一个条件相同的虚拟受访者(persona):把年龄、性别、认知能力和国家写进系统提示词,让模型用受访者的调查语言回答同一份问卷。12 种模型配置各做一遍,再和真人答案逐层比较。



个人答案对不上,模型之间却很像

先看个体。模型答案与真人答案的相关多半为正,方向对得上;数值却差得远。偏好指数标准化后,模型与 GPS 的均方误差(MSE)平均为 1.827,模型预测只解释了真人偏好方差的 1.3%(个体层)和 4.2%(国家层)。

更有意思的是,模型彼此比和真人更像:个体层的跨模型 MSE 只有 1.377。作者认为,各模型即使共同偏离人类,输出也会趋于相似。换成更新的模型,也没有看到改善:检验没有发现 GPT-5.4 和 GPT-5.4-mini 优于较早的 OpenAI 模型。


Fig. 2 中,作者比较了个体层与国家层 LLM 与 GPS 偏好误差的 MSE 及 95% bootstrap 置信区间。



性别和年龄说得对,国家差异说不对

研究者接着问,GPS 里性别、年龄和认知能力带来的偏好差异,模型能不能复现。判断标准是:模型和人类数据在同一个梯度上给出同方向的显著差异,或者都没有显著差异。结果一致率为 77.8%,性别和认知能力都在 80% 以上,年龄低一些,为 66.7%。


Fig. 4 中,作者展示了六类偏好上 GPS 与 LLM 人口学梯度的 Cohen’s d 对照,以及两者是否一致。

这个成绩可能偏高。GPS 数据收集于 2012 年,题目可能已进入模型的训练数据,成功预测因此可能部分来自记忆。作者改写了题目,也做了英文-only 实验,都没有为这个假设找到统计上显著的支持。过去十年经济偏好的世代变化,则可能让研究低估当前群体的对齐程度。

文化层面的结果弱得多。研究者把 World Values Survey、Hofstede 和 Schwartz 三套文化维度,各按国家中位数分成高低两组,每个人沿用所在国家的分类,再看模型能否复现高低组之间的偏好差。一致率为 48.1%,低于人口学的 77.8%。一些被广泛研究的关系几乎没复现出来:Hofstede 的长期导向与耐心的关系,12 个模型里只有 3 个恢复。


Fig. 5 中,作者展示了六类偏好上 GPS 与 LLM 文化梯度的 Cohen’s d 对照,以及两者是否一致。

作者认为,一个国家名对文化的刻画可能太粗;研究没有试更丰富的文化描述、检索增强提示或显式文化校准,这些做法可能改变结果。另外,非英语题目由 Google Translate API 翻译,每个国家通常只模拟样本最多的一种语言,翻译和单语言设定也可能影响跨文化比较。



提示词里拿掉国家,几乎没有影响

为了看模型到底靠什么作答,研究者用 GPT-5.4-mini 把提示词里的信息逐项拿掉。只保留人口学信息时,个体层 MSE 为 1.835,和完整 persona 的 1.838 几乎一样;只保留国家信息,MSE 升到 1.961。国家标签加不加,差别只在小数点后第三位,人口学信息一拿掉,误差就上去了。这组消融主要用 GPT-5.4-mini 和单一的 persona 提示设计,其他模型和国家编码方式没有覆盖。


Fig. 7 中,作者展示了不同提示词消融条件下的个体层 MSE 与人口学效应量。



拿已发表的结果再试一遍

研究者还让模型去复现已发表研究报告的国家层关联,要求方向和显著性都与原研究一致。表现最好的模型在 35 条关联中复现了 16 条;这里沿用了原研究 10% 的显著性标准,按 5% 计则是 12/29。

偏差也有固定的方向。模型系统性高估女性的亲社会偏好,利他在 12 个模型中全部如此,信任在 11 个模型中如此,性别刻板印象更强的国家,错配更大。作者认为,输出不只受 persona 影响,也带着训练语料里各国的性别规范。另一个问题是回答太集中,LLM 的回答比 GPS 更同质。主分析把温度设为 0,这可能加重同质化;调到 1 只部分恢复了多样性,仍明显低于人类水平。



解读时要留意的地方

论文的结论是,LLM 模拟答案尚不是跨国代表性调查的可靠代理,不能据此直接替代政策评估中的人类调查。作者提出,LLM 或许可用于探索潜在动机、早期假设和研究设计诊断,这些用途仍需实证验证;后续可以用同步数字孪生面板区分记忆与真实推理。本研究的分析样本只是 GPS 原始样本的一部分,为 67,201 人、74 个国家,原始样本有 80,000 多人、76 个国家,结论不覆盖完整基准。

分享人:天天
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI:10.1038/s41562-026-02611-4

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

念洲
2026-11-20 06:54:50
灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

醉卧浮生
2026-11-20 11:28:19
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

上观新闻
2026-11-20 06:58:22
亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

极目新闻
2026-11-19 22:03:12
还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

上观新闻
2026-11-20 11:58:27
刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

凤凰网财经
2026-11-20 01:37:55
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
突发!台积电收紧对华AI芯片代工

突发!台积电收紧对华AI芯片代工

EETOP半导体社区
2026-11-20 08:17:23
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
李在明乘机返回韩国 发文:感谢中国热情接待!

李在明乘机返回韩国 发文:感谢中国热情接待!

看看新闻Knews
2026-11-20 00:36:59
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

云舟史策
2026-11-19 07:16:32
沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

极目新闻
2026-11-20 10:43:41
大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

澎湃新闻
2026-11-20 08:59:42
东亚正在无声崩塌,想翻盘极其困难

东亚正在无声崩塌,想翻盘极其困难

起点人文
2026-11-19 13:12:30
2026-11-20 13:00:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
游戏
亲子
时尚
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

亲子要闻

宝宝气人但是聪明的4个行为

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版