北京
大模型张口就来、说得斩钉截铁，内容却是错的。这不是撒谎——撒谎需要意图，而它没有。这个现象叫虚构（confabulation），根源就埋在训练过程里。
预训练阶段，模型看到的全是流畅的文本，没有任何标签告诉它哪句真、哪句假。它能学到的只有流畅度模式。拼写、括号这类有稳定规则的东西，它学得会；而一个随机的冷门事实，就像宠物的生日，文本里没有任何模式能预测它，模型只能靠统计去猜。宠物生日这个例子出自 OpenAI 自己的论文《Why Language Models Hallucinate》。
猜，是被奖励出来的。大多数基准测试只给准确率打分。猜一个生日，有 1/365 的概率蒙对；回答"我不知道"，得零分。于是模型学会了猜。同一篇论文在 SimpleQA 评测上给出的数字很具体：o4-mini 的弃答率是 1%，错误率 75%；gpt-5-thinking-mini 的弃答率是 52%，错误率 26%。两者准确率几乎相同，错误却少了大约三倍。
知识是被压缩的，不是归档的。"巴黎是法国首都"并不是作为一条事实存进去的，而是被压进权重里的统计关联，回答时从一个有损副本里重建出来。常见的东西它重建得出来，长尾就崩了。论文给了一个下界：预训练之后，幻觉率至少等于训练事实中只出现过一次的那部分占比。
它被逼着只给一个答案。训练时模型只挑下一个词，可语言本身是有歧义的。"护士准备了……"后面接药还是绷带都说得通。模型还是学会了硬着头皮往下写，而偏好微调又往"有用"的方向推，结果就是哪怕你说错了，它也倾向于顺着你。
补救手段都是部分的：不确定时弃答、把回答锚定在可核查的来源上、做验证、调低采样温度。没有一种完美。论文的核心论点是，激励才是问题所在——只要主流排行榜还只按准确率打分，猜就仍然是理性的选择。
所以更靠谱的做法是：先找到真实事实，再开口下结论。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
