Talk预告 | MBZUAI王浩：基于用户反馈的奖励建模和大模型后训练应用

本期为TechBeat人工智能社区第797期线上Talk。

北京时间10月9日(周五) 20:00，MBZUAI 博士后研究员王浩博士的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：基于用户反馈的奖励建模和大模型后训练应用。届时他将围绕用户反馈中的偏差与噪声问题，介绍高效率多任务去偏、噪声感知双校正与隐式反馈分层建模方法，并讨论这些方法在奖励建模和大模型后训练中的应用。

Talk·信息

主题：基于用户反馈的奖励建模和大模型后训练应用

嘉宾：MBZUAI·博士后研究员- 王浩

时间：北京时间10月9日(周五) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

传统奖励模型依赖人工标注，成本高、规模受限、迭代周期长，且专家偏好与真实终端用户偏好存在偏差。用户行为反馈天然具备低成本、大规模、可实时迭代的优势，能真实反映用户实际偏好，是大模型 RLHF 规模化落地的核心数据路径，因此基于用户反馈构建奖励模型具备关键的研究与产业价值。 本次讨论聚焦用户反馈奖励建模中的核心难题，系统性提出高效率多任务去偏、噪声感知双校正、隐式反馈分层建模三套方法，兼具理论保证与工业场景验证，实现模型精度与业务收益的双重提升。

Talk大纲

一、高效率用户反馈去偏建模问题与方法

真实场景对去偏能力与训练效率提出双重需求。提出全空间多任务反事实学习方法，从理论层面证明了方法的无偏性与双稳健性，并通过离线性能评估、去偏能力量化分析与工业级在线 A/B 测试，完整验证了方法的精度收益与业务价值。

二、含噪声用户反馈去偏建模（CausalRM）

聚焦用户反馈数据中“标注噪声与混杂偏差共存”的问题，提出CausalRM方法，证明了其双重校正机制下的无偏性与双稳健性质，并通过多数据集性能验证、模块消融分析与下游 RLHF 效果评估，验证了方法对奖励模型质量与对齐效果的提升作用。

三、隐式用户反馈去偏建模（ImplicitRM）

聚焦用户反馈数据中“单侧标注与混杂偏差叠加”的难题，引入了一种变分优化方法实现去偏建模，并通过隐式反馈建模性能测试、跨模型鲁棒性分析与下游 RLHF 效果评估，验证了方法的有效性与泛化性。

Talk·预习资料

[1] IEEE TIFS 2024 | Entire Space Counterfactual Learning for Reliable Content Recommendations 论文链接： https://arxiv.org/abs/2210.11039

[2] ICML 2026 | Optimal Transport for LLM Reward Modeling from Noisy Preference 论文链接： https://arxiv.org/abs/2605.06036

[3] ICML 2026 | ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment 论文链接： https://arxiv.org/abs/2603.23184

[4] CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks 论文链接： https://arxiv.org/abs/2603.18736

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

王浩

MBZUAI ·博士后研究员

王浩是穆罕默德·本·扎耶德人工智能大学的博士后研究员，合作导师为张坤教授。 在此之前，他曾在蚂蚁集团、微软亚洲研究院和小红书（首届RedStar项目）工作，并于2026年在浙江大学获得博士学位。 他的研究重点是基于不完美监督信号的机器学习，具体包括选择偏差、标签噪声、隐式反馈、不完整观测和标签伪相关等问题，应用于时间序列与世界模型、推荐系统和奖励与智能体。 他在顶级会议和期刊上发表了50余篇论文，包括ICML、NeurIPS、ICLR、KDD、SIGIR、KDE和TPAMI，其中多篇为口头报告/亮点论文。他担任ICML、NeurIPS、ICLR、SIGKDD等顶级会议的领域主席或审稿人。

5 位将门老友的AI闭门聊天局

详情点击图片跳转

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk