北京
你可以用平实的英文写下你想要什么，然后让一个药物设计模型去追这个目标。
常规做法是：要让模型生成更好的候选药物，你需要一个针对该目标训练过的奖励模型。这里他们删掉了这一步，改让一个LLM来给输出打分，方式就是读你用英文写下的目标。
那些建不起针对自身目标的评分模型的实验室，现在有了一条通往可控生成器的路。那正是把小型团队挡在生成式设计之外的门槛，而它现在挪动了。
冷启动问题
RLHF在各处都撞上同一个冷启动难题：如果基础模型压根产不出一个好结果，就没有东西可供排序。于是LLM先写一个更容易的目标，拿它来打分，等模型变强了再不断抬高门槛。
基础分子模型在38500个样本里产出了0个可用命中。经过几轮这样的过程之后，它在一批512个样本里产出了1个。
打分不准，为什么还能用
LLM给出的分数经常是错的，错得离谱。但这不影响，因为DPO只需要判断“A比B好”，不需要一个准确的数值。
LLM打分的模型打败了那些被允许直接对着真实评分函数训练的版本——69.06对57.04，而且它从头到尾没看过任何一个真实分数。
不过这里有个值得警惕的地方：如果长期只按LLM的偏好来打分，最终得到的可能是LLM喜欢的分子，而不是湿实验室里真正管用的分子。谁来跑第一个实验验证？
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
