北京
分享至
一个8B参数的视觉-语言模型，在创意效用基准上把Claude Opus和GPT-6 Astra甩在了后面。Salesforce拿出的这套训练策略，核心思路跟"刷高分"完全相反。
论文给出的方案叫Divergent Reward（发散奖励）。机制不复杂：在单次生成里惩罚重复概念，逼着模型别老在同一个思路上打转。
结果就是模型学会输出一组思想——既保持质量，又彼此不重样。这套打法用在科学构想任务上，效果直接体现在基准测试的排名里。
值得拆开看的是这套奖励设计的取舍逻辑：
- 传统做法是给高分答案加权，模型倾向于收敛到少数"安全"输出
- 发散奖励在生成过程中就对重复概念扣分，把多样性写进了目标函数
- 优化思想之间的分离度成了训练信号的一部分，而不是事后筛选
换句话说，模型不是被要求"想得更好"，而是被要求"别想得一样"。这个约束一旦生效，8B级别的模型就能在创意维度上跟更大的通用模型掰手腕。
对做模型训练的人来说，这条路的吸引力在于成本结构。参数量小意味着推理和迭代都便宜，而创意效用这类任务恰恰不吃参数规模那一套。
当然，基准测试上的超越不等于全面替代。创意效用的评测口径本身就有边界，这套策略在需要严格事实一致性的任务上表现如何，论文没有给出对照。
但至少有一点被验证了：奖励函数怎么设计，可能比模型堆多大更能决定输出的多样性。这个方向对资源有限的团队来说，值得盯一眼。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
