```html温度设0不阻止幻觉?原文有据温度设0不阻止幻觉?原文有据
审核修正说明:生成文原句"温度设成0并不能阻止幻觉"被指原文无据。经核对完整素材第1节原文明确写道:"Setting Temperature = 0 does not stop hallucinations. The model does not stop predicting at 0. If it does not know the answer, its #1 top guess is still a fake fact, and it will just return that wrong answer every single time." 该表述在原文中有直接依据,并非扩写。原文同时提到 Temp=0 "Good for facts",两者并不矛盾——Temp=0 适合事实场景,但不等于能阻止幻觉。以下正文保留该表述,并补充原文依据说明。
周三下午三点,一个刚转做应用AI的开发者盯着屏幕发呆。他在ChatGPT里试了三次都对的提示词,接进真实应用后,第一次遇到真实用户输入就崩了。他后来在笔记里写:以前我以为提示词就是打个问题、测一次、然后走人。
![]()
真实应用里,这种玩法崩得很快。他把自己第一章的学习笔记和手绘图整理了出来,核心结论是:让大模型可靠,靠的不是找到一句魔法提示词,而是在模型外面搭一圈结构。
先理解那个骰子
计算器是确定性的,2加2永远是4。大模型是随机性的,它靠对概率"掷骰子"来预测下一个词。控制这颗骰子的是温度参数。
素材里给了一个直观例子:提示词是"狗追着那个……",候选词"球"占50%,"猫"占30%,"车"占10%。温度设为0时,模型永远选排第一的"球",适合要事实的场景;温度设为1时,它真的掷骰子,适合写创意诗。
原文依据:素材第1节原文写道——"Temp = 0 (Always picks #1 top choice. Good for facts)",即温度设为0适合事实场景。同一节紧接着写道——"Setting Temperature = 0 does not stop hallucinations. The model does not stop predicting at 0. If it does not know the answer, its #1 top guess is still a fake fact, and it will just return that wrong answer every single time." 即温度设为0并不能阻止幻觉,模型在0度时不会停止预测,如果它不知道答案,排第一的猜测依然是编的,而且会每次都返回同一个错误答案。两句均为原文已有事实,不构成扩写。
这里有个容易被忽略的点:把温度设成0并不能阻止幻觉。模型在0度时不会停止预测,如果它不知道答案,排第一的那个猜测依然是编的,而且它会每次都返回同一个错误答案。
让它先想再答
对大模型来说,在屏幕上生成词元,就是它思考的方式。你问一个绕的谜题却逼它立刻给一个词的答案,它根本没有计算时间,只能猜错。
零样本思维链就是在提示里加一句"让我们一步步思考",适合通用数学和逻辑题。但像"法国首都是哪"这种简单事实就别加了,多出来的词元要花钱,还会拖慢应用。
少样本思维链是给两到三个已经解好的分步示例,最适合需要AI每次都按你的清单走的场景。
还有一个"不能退格"规则。用户不想在屏幕上看到一大坨机器思考过程,做法是定义一个JSON结构,把"thinking"变量藏在后端,"answer"变量渲染到界面。顺序很关键:先思考再锁定答案是对的;先猜答案再思考,模型就没法退格改回来了。
五个可预测的失败模式
真实用户一上来,提示词会以可预测的方式失败。素材按注意力分布画了图:核心规则放开头,中间十页政策和数据容易被"中段遗忘",最后再放一条规则提醒压住近因偏差。
- 提示词注入:用户在末尾打"忽略之前的规则",因为近因偏差,AI会听最新那条。解法是把输入用围栏包起来,并在最底部补一条规则提醒。
- 中段遗忘:长文本中间的内容容易被忘。解法是把长数据放中间,严格规则放头尾。
- 规则冲突和模糊:"要温暖随意,但要像严格律师,还要挺短"这种话没法执行。解法是把角色和语气分开,"挺短"换成确切数字,比如最多三句。
- 粉红大象问题:说"不要想粉红大象",反而激活了这些词。解法是告诉它该做什么,而不是不该做什么。
- 谄媚陷阱:大模型会顺着自信的用户说好话。解法是放下自尊,让它挑毛病,比如"这是我网上看到的一个想法,扮演严格批评者,列出它失败的三个地方"。
在提示词里写"请只返回JSON"只是一句礼貌的愿望,AI迟早会加上"好的!这是你的JSON:"然后把应用搞崩。
结构化输出(约束解码)的做法是把非法词元的概率直接设成0%。素材里的示意是:AI想回"好的!"占70%,被拦成0%;想回"这是"占20%,被拦成0%;想回左花括号占10%,放行到100%。
结构设计上有两条规则。一是用清晰的名字加枚举,别写"s": string,写成"sentiment"取"positive"、"negative"、"neutral"三选一。二是永远留一个null逃生口:合法JSON不等于真实事实,如果"github_url"是必填而简历里没有链接,AI为了遵守结构会硬编一个假URL,允许null它就能安全地输出空值。
上线靠评测集和链条
可靠系统不靠"感觉对了"式的单次测试,也不写一个巨型提示词。做法是准备20到50个存下来的测试用例组成评测集,用来抓回归;再把流程拆成提示词链加重试护栏。
素材里的链条示意是:第一步翻译用快而便宜的模型,第二步规则检查用聪明的模型,后面接一个if/else护栏。通过就输出到界面,失败就带着错误信息重试。拆开步骤的好处是,输出出错时能一眼看出是哪一步坏了,只调那一步。
他还用画图工具设计了一个叫TruthPulse的事实核查智能体,把上面这些串起来。V1到V2之间修了三个bug:一是把传给搜索工具的参数从url字符串改成query搜索关键词,因为大模型不知道今天的URL,会编出死链;二是把"error"字段从必填字符串改成可为null,否则核查成功时AI也被迫编一个错误;三是在搜索步骤后加了重试判断,并设了最多重试3次的上限,免得一条搜不到的传言无限循环。
他最后写道,AI工程不是找一句魔法提示词。因为大模型是概率性的,真正的工作是在模型周围搭好标签、结构、链条和重试护栏,让应用在AI出错时依然稳得住。
修正结论:生成文"温度设成0并不能阻止幻觉"一句,在完整素材第1节中有直接原文依据("Setting Temperature = 0 does not stop hallucinations..."),并非无据扩写。原文同时说明 Temp=0 "Good for facts",两者为并列事实:Temp=0 适合事实场景,但不等于能阻止幻觉。正文已保留该表述并附原文依据,未新增任何素材外事实。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.