网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026|扩散模型和自回归模型谁的隐私泄露更多? 奥尔堡大学揭示扩散语言模型的记忆行为

0
分享至





图 1 LLaDA-8B 的个人信息提取示例:逐词恢复成功重建目标邮箱,一步恢复出现错误。蓝色表示匹配,红色表示不匹配,〈M〉表示掩码(原论文图 1)。

大语言模型有时会把训练时见过的内容原样「背出来」,其中可能包含邮箱、电话号码等个人信息。随着扩散语言模型走向更大规模,一个问题也随之出现:当模型不再从左到右逐词生成,它还会以同样的方式泄露训练数据吗?

自回归模型像是在「接龙」,根据前文预测下一个词;掩码扩散语言模型则更像是在「填空」,从被遮住的文本出发,分多轮补全缺失内容。这种生成方式带来了并行生成的可能,也改变了训练数据被提取出来的路径。

丹麦奥尔堡大学研究团队在《Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects》中,系统研究了这一问题。



  • 论文链接:https://arxiv.org/abs/2603.02333

一个值得关注的发现是:同一个扩散语言模型,仅仅改变生成时的采样步数,就可能明显改变训练数据的提取风险。在论文设定的个人信息补全任务中,扩散模型的泄露水平低于同规模自回归模型,但生成步骤越细,原样复现训练内容的概率往往越高。

从「接下半句」到「任意填空」,

怎样衡量扩散模型的记忆?

研究语言模型记忆的一种常见方法,是提供训练文本的前半段,检查模型能否接出一模一样的后半段。

但扩散模型不仅可以续写,还能利用缺失位置两侧的信息完成填空。哪些位置被遮住、先恢复哪些词、每轮恢复多少词,都可能影响结果。只看一次生成是否命中,很难完整刻画这种行为。

为此,研究团队提出了一个广义概率提取框架:给定部分可见文本,允许模型尝试多次,衡量它以多大概率恢复全部被遮住的原始内容。这一框架既支持任意遮盖位置,也能容纳不同的恢复顺序,并将传统的前缀续写纳入其中。

研究还验证了概率估计的可行性:在 200 个样本上,利用 1,024 次随机掩码采样得到的估计,与 100,000 次随机生成得到的实测结果较为接近,为减少评估开销提供了依据。



图 2 概率估计与大量实际生成得到的提取概率对比(原论文图 2)。

为什么多生成几步,

反而更容易泄露?

可以把这个过程想象成填一段熟悉的文字:一次补完所有空缺时,每个位置能利用的线索有限;如果先填对几个位置,再利用这些新线索继续填,剩下的内容就可能更容易恢复。

论文给出了这一机制的理论刻画。在「增加正确上下文不会降低剩余内容恢复概率」的假设下,固定恢复顺序,并把原来的批次拆成更细的步骤,完整恢复原文的概率不会下降。

这里的条件很关键:结论讨论的是正确上下文与特定的步骤细化关系,不能直接理解成任何采样策略下「步数越多,泄露必然越严重」。

实验也观察到了相应趋势。研究团队选取 200 组满足筛选条件的掩码设置,在一步、两步、五步、十步以及逐词恢复等设置下,分别进行大量生成测试。随着步骤变细,精确恢复原文的成功率整体上升。

模型参数没有改变,改变的是已有记忆被提取出来的机会。采样步数因此不仅关系到生成速度和质量,也关系到训练数据的可提取性。



图 3 相对于一步生成,更细的采样步骤提高了精确恢复原文的成功率;阴影为 95% 置信区间(原论文图 3)。

同样补全邮箱,

扩散模型与自回归模型差多少?

为了比较两类模型,研究团队训练了同为 1.1B 参数的扩散模型和自回归模型,对齐数据集、分词器、计算预算等条件;随后让参与比较的模型采用统一的 Enron 邮件数据适配流程。

评估时,模型获得目标邮箱或电话号码前面的 100 个 token,并尝试补全目标。研究还过滤了包含其他邮箱地址的邮箱提示,减少额外线索的干扰。

在 3,000 个邮箱补全样本、最多 10,000 次查询的预算下,结果如下:



表 1 根据原论文表 1 整理。数字表示在给定查询预算下达到相应成功概率门槛的样本数,不是单次生成的泄露率。

两个结果尤其醒目。

首先,在同为 1.1B 参数的比较中,即使采用逐词恢复,扩散模型达到 50% 提取概率门槛的邮箱样本也只有 16 个,自回归模型则为 213 个。

其次,LLaDA-8B 从一步恢复切换为逐词恢复后,相应样本数从 9 个增加到 179 个,接近原来的 20 倍。同一个模型,采样设置就能带来很大的风险差异。

不过,这些结果对应的是对齐后的前缀补全任务,尚不能据此认定扩散模型在所有场景下都更安全,尤其是它原生支持的双向填空场景。

恢复出来的内容,

究竟是记忆还是「猜对了」?

模型能补全一段邮件,并不必然说明它记住了这封邮件。常见格式和语言规律,也可能帮助模型猜中部分内容。

研究团队因此将训练中出现过的 Enron 邮件,与未参与训练的同领域 TREC 2007 Spam 邮件进行比较,各抽取 10,000 个文本窗口,评估其重建概率。

结果显示,训练数据的重建概率分布整体更高。这说明评估捕捉到了与训练暴露有关的差异,为「提取结果包含记忆效应」提供了支持。

较低的提取率,并不意味着模型没有记忆;它也可能意味着,在当前提示和采样条件下,这些记忆更难被取出。



图 4 训练邮件与未见邮件的重建概率分布对比。蓝色表示 Enron 训练数据,橙色表示 TREC 未见数据(原论文图 4)。

从模型架构走向采样过程,

隐私评估需要看什么?

这项工作带来了三个启示。

评估模型,也要评估生成设置。同一组参数在不同采样步数下,可能表现出不同的训练数据提取风险。

一次没有命中,不代表多次查询也无法提取。查询预算、成功概率和遮盖方式,都应成为报告结果的一部分。

扩散模型的较低泄露水平值得继续研究,但边界仍需验证。双向填空、指令微调和偏好优化之后,是否仍保持这一特点,还有待进一步实验。

这项研究将一个容易被忽略的变量带入了模型安全评估:训练决定模型接触了什么,而生成过程会影响这些内容有多容易再次出现。

作者简介

本工作由丹麦奥尔堡大学研究团队完成。Xiaoyu Luo 与 Wenrui Yu 为共同第一作者,Qiongxiu Li 为通讯作者,Johannes Bjerva 为共同作者。团队关注大语言模型记忆、隐私与安全。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红利股,逆市猛拉!

红利股,逆市猛拉!

中国基金报
2026-11-16 10:29:32
号称广东金融后台基地,佛山千灯湖从7万砸穿3万,富豪全被埋

号称广东金融后台基地,佛山千灯湖从7万砸穿3万,富豪全被埋

珠三角港
2026-11-15 20:46:51
“幸亏我生了儿子”,小学女儿换装视频,让很多家长难以承受

“幸亏我生了儿子”,小学女儿换装视频,让很多家长难以承受

凡知
2026-10-11 12:35:13
糗大了!恩比德倒数第一,队友:你可是MVP……

糗大了!恩比德倒数第一,队友:你可是MVP……

体育新角度
2026-11-15 21:08:49
宝马735Li降到48.8万?

宝马735Li降到48.8万?

小南看车
2026-11-15 21:02:11
一张图吓得研究员当场辞职!Anthropic最疯神图流出

一张图吓得研究员当场辞职!Anthropic最疯神图流出

新智元
2026-11-15 16:41:23
谁敢动中国我就灭谁!这两国曾向全球发出警告,如今枪口对准中国

谁敢动中国我就灭谁!这两国曾向全球发出警告,如今枪口对准中国

琴音缭绕回
2026-10-28 11:30:18
阿里巴巴大批人将实现财务自由

阿里巴巴大批人将实现财务自由

电商派Pro
2026-11-16 11:37:22
阿布扎比刚谈崩没几天,普京特朗普齐聚深圳,这次轮到中国定调子

阿布扎比刚谈崩没几天,普京特朗普齐聚深圳,这次轮到中国定调子

赵探长TALK
2026-11-16 11:23:27
威胁杨瀚森地位?李贤重连续爆发令人想到崔永熙 还有1人很可惜

威胁杨瀚森地位?李贤重连续爆发令人想到崔永熙 还有1人很可惜

大嘴爵爷侃球
2026-11-16 11:22:39
“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

花小厨
2026-11-16 10:05:10
中国平均每个家庭户人数降至2.52人,25年间减少近1人,背后有哪些社会变化?会带来哪些影响?

中国平均每个家庭户人数降至2.52人,25年间减少近1人,背后有哪些社会变化?会带来哪些影响?

贵重物品爱美食
2026-11-16 12:01:51
全球三大经济体,上半年GDP对比:美16万亿,欧盟11万亿,中国呢

全球三大经济体,上半年GDP对比:美16万亿,欧盟11万亿,中国呢

乐享人生风雨
2026-10-03 02:33:31
男子炮轰中国部分媒体!拿中国长处贬低他国短处,中国不是天堂,外国也不是地狱

男子炮轰中国部分媒体!拿中国长处贬低他国短处,中国不是天堂,外国也不是地狱

小徐讲八卦
2026-09-13 07:40:07
发现了没?中国超1000万大龄剩女们迎来的十分严峻问题,已经到来

发现了没?中国超1000万大龄剩女们迎来的十分严峻问题,已经到来

超喜欢我
2026-11-15 21:56:25
44岁姚笛独自在杭州豪宅家中煮泡面,眼神中难掩落寞

44岁姚笛独自在杭州豪宅家中煮泡面,眼神中难掩落寞

追影客栈
2026-10-03 16:08:17
丧良心,5块钱电池,维修师傅开口报价316元!转头就跟学徒小声说:就是没电了

丧良心,5块钱电池,维修师傅开口报价316元!转头就跟学徒小声说:就是没电了

苏西早知道
2026-11-12 07:42:15
缅甸水牢里那句"做鬼也不放过你",喊的不只是仇人,是我们所有人

缅甸水牢里那句"做鬼也不放过你",喊的不只是仇人,是我们所有人

迷世书童
2026-11-06 10:51:33
詹姆斯:NBA不该只有一位篮球之神,乔丹:GOAT对他没有特殊意义

詹姆斯:NBA不该只有一位篮球之神,乔丹:GOAT对他没有特殊意义

林子说事
2026-11-15 17:58:38
日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

扶苏聊历史
2026-10-11 11:35:08
2026-11-16 13:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14481文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

牛弹琴:德国前总理很痛心 感叹中国的政策德国做不到

头条要闻

牛弹琴:德国前总理很痛心 感叹中国的政策德国做不到

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

报道:黄仁勋考虑回归英伟达CEO

汽车要闻

吉利星越L PLUS预售价15.77万起 燃油车也能如此智能

态度原创

手机
教育
艺术
健康
公开课

手机要闻

补齐最大遗憾!iPhone Duo2 原型机测试屏下 Face ID,果粉终于等到了

教育要闻

这届家长卷疯了:一周住4天酒店陪读。值吗?

艺术要闻

他把园子当情人,10年,钱全花在了这座山水上

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版