网易首页 > 网易号 > 正文 申请入驻

Nat Human Behaviour 跨74 国结论 | 大语言模型模拟的偏好,能代替问卷吗?

0
分享至


● 认知神经科学前沿文献分享

论文信息:Simulated responses from large language models are weak proxies for human economic preferences across 74 countries

发表期刊:Nature Human Behaviour




大语言模型模拟的经济偏好,能代替跨国问卷吗?

让大语言模型扮演一位 35 岁的米国女性,问她愿不愿意为了拿到更多的钱再等一年,或者觉得陌生人值不值得信任,它答得出“米国人的样子”吗?

Fadong Chen, Qijun Wang, Lei Wang 和 Sudeep Bhatia 在 Nature Human Behaviour 上给出的答案是:答得出一部分。模型大致能说对性别、年龄和认知能力带来的差异方向,这类人口学梯度与真实数据一致的比例是 77.8%;换成国家之间的文化差异,一致率只有 48.1%,接近抛一枚硬币。把提示词里的国家标签去掉,结果几乎没变;去掉人口学信息,结果才变差。作者的结论是,AI 模拟答案目前还不能替代跨国问卷。



照着真实受访者造一批“虚拟人”


Fig. 1 | Study design. Following the GPS, we focused on six economic preferences: risk-taking, patience, negative reciprocity, positive reciprocity, altruism and trust.

参照物是 Global Preference Survey(GPS),一项测量风险偏好、耐心、正向互惠、负向互惠、利他和信任的跨国调查。本研究用到其中 67,201 名受访者,来自 74 个国家。研究者为每名受访者建一个条件相同的虚拟受访者(persona):把年龄、性别、认知能力和国家写进系统提示词,让模型用受访者的调查语言回答同一份问卷。12 种模型配置各做一遍,再和真人答案逐层比较。



个人答案对不上,模型之间却很像

先看个体。模型答案与真人答案的相关多半为正,方向对得上;数值却差得远。偏好指数标准化后,模型与 GPS 的均方误差(MSE)平均为 1.827,模型预测只解释了真人偏好方差的 1.3%(个体层)和 4.2%(国家层)。

更有意思的是,模型彼此比和真人更像:个体层的跨模型 MSE 只有 1.377。作者认为,各模型即使共同偏离人类,输出也会趋于相似。换成更新的模型,也没有看到改善:检验没有发现 GPT-5.4 和 GPT-5.4-mini 优于较早的 OpenAI 模型。


Fig. 2 中,作者比较了个体层与国家层 LLM 与 GPS 偏好误差的 MSE 及 95% bootstrap 置信区间。



性别和年龄说得对,国家差异说不对

研究者接着问,GPS 里性别、年龄和认知能力带来的偏好差异,模型能不能复现。判断标准是:模型和人类数据在同一个梯度上给出同方向的显著差异,或者都没有显著差异。结果一致率为 77.8%,性别和认知能力都在 80% 以上,年龄低一些,为 66.7%。


Fig. 4 中,作者展示了六类偏好上 GPS 与 LLM 人口学梯度的 Cohen’s d 对照,以及两者是否一致。

这个成绩可能偏高。GPS 数据收集于 2012 年,题目可能已进入模型的训练数据,成功预测因此可能部分来自记忆。作者改写了题目,也做了英文-only 实验,都没有为这个假设找到统计上显著的支持。过去十年经济偏好的世代变化,则可能让研究低估当前群体的对齐程度。

文化层面的结果弱得多。研究者把 World Values Survey、Hofstede 和 Schwartz 三套文化维度,各按国家中位数分成高低两组,每个人沿用所在国家的分类,再看模型能否复现高低组之间的偏好差。一致率为 48.1%,低于人口学的 77.8%。一些被广泛研究的关系几乎没复现出来:Hofstede 的长期导向与耐心的关系,12 个模型里只有 3 个恢复。


Fig. 5 中,作者展示了六类偏好上 GPS 与 LLM 文化梯度的 Cohen’s d 对照,以及两者是否一致。

作者认为,一个国家名对文化的刻画可能太粗;研究没有试更丰富的文化描述、检索增强提示或显式文化校准,这些做法可能改变结果。另外,非英语题目由 Google Translate API 翻译,每个国家通常只模拟样本最多的一种语言,翻译和单语言设定也可能影响跨文化比较。



提示词里拿掉国家,几乎没有影响

为了看模型到底靠什么作答,研究者用 GPT-5.4-mini 把提示词里的信息逐项拿掉。只保留人口学信息时,个体层 MSE 为 1.835,和完整 persona 的 1.838 几乎一样;只保留国家信息,MSE 升到 1.961。国家标签加不加,差别只在小数点后第三位,人口学信息一拿掉,误差就上去了。这组消融主要用 GPT-5.4-mini 和单一的 persona 提示设计,其他模型和国家编码方式没有覆盖。


Fig. 7 中,作者展示了不同提示词消融条件下的个体层 MSE 与人口学效应量。



拿已发表的结果再试一遍

研究者还让模型去复现已发表研究报告的国家层关联,要求方向和显著性都与原研究一致。表现最好的模型在 35 条关联中复现了 16 条;这里沿用了原研究 10% 的显著性标准,按 5% 计则是 12/29。

偏差也有固定的方向。模型系统性高估女性的亲社会偏好,利他在 12 个模型中全部如此,信任在 11 个模型中如此,性别刻板印象更强的国家,错配更大。作者认为,输出不只受 persona 影响,也带着训练语料里各国的性别规范。另一个问题是回答太集中,LLM 的回答比 GPS 更同质。主分析把温度设为 0,这可能加重同质化;调到 1 只部分恢复了多样性,仍明显低于人类水平。



解读时要留意的地方

论文的结论是,LLM 模拟答案尚不是跨国代表性调查的可靠代理,不能据此直接替代政策评估中的人类调查。作者提出,LLM 或许可用于探索潜在动机、早期假设和研究设计诊断,这些用途仍需实证验证;后续可以用同步数字孪生面板区分记忆与真实推理。本研究的分析样本只是 GPS 原始样本的一部分,为 67,201 人、74 个国家,原始样本有 80,000 多人、76 个国家,结论不覆盖完整基准。

分享人:天天
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI:10.1038/s41562-026-02611-4

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

小豫讲故事
2026-11-18 06:00:13
杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

军迷战情室
2026-11-19 21:31:42
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

皮皮电影
2026-11-19 11:02:40
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

猪友巴巴
2026-11-20 09:42:16
巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

雪狼侃体育
2026-11-20 12:17:13
葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

青科新闻
2026-11-19 15:04:35
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

小火箭爱体育
2026-11-20 11:36:32
要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

影孖看世界
2026-11-19 23:58:41
晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

罗说NBA
2026-11-20 06:21:08
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

阿尔卑斯瞭望
2026-11-19 18:52:28
拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

篮球大视野
2026-11-20 12:02:24
起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

极目新闻
2026-11-19 18:43:26
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

澎湃新闻
2026-11-19 15:22:08
2026-11-20 13:08:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
教育
时尚
家居
本地

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版