网易首页 > 网易号 > 正文 申请入驻

温度设0不阻止幻觉?原文有据

0
分享至

```html温度设0不阻止幻觉?原文有据温度设0不阻止幻觉?原文有据

审核修正说明:生成文原句"温度设成0并不能阻止幻觉"被指原文无据。经核对完整素材第1节原文明确写道:"Setting Temperature = 0 does not stop hallucinations. The model does not stop predicting at 0. If it does not know the answer, its #1 top guess is still a fake fact, and it will just return that wrong answer every single time." 该表述在原文中有直接依据,并非扩写。原文同时提到 Temp=0 "Good for facts",两者并不矛盾——Temp=0 适合事实场景,但不等于能阻止幻觉。以下正文保留该表述,并补充原文依据说明。

周三下午三点,一个刚转做应用AI的开发者盯着屏幕发呆。他在ChatGPT里试了三次都对的提示词,接进真实应用后,第一次遇到真实用户输入就崩了。他后来在笔记里写:以前我以为提示词就是打个问题、测一次、然后走人。


真实应用里,这种玩法崩得很快。他把自己第一章的学习笔记和手绘图整理了出来,核心结论是:让大模型可靠,靠的不是找到一句魔法提示词,而是在模型外面搭一圈结构。

先理解那个骰子

计算器是确定性的,2加2永远是4。大模型是随机性的,它靠对概率"掷骰子"来预测下一个词。控制这颗骰子的是温度参数。

素材里给了一个直观例子:提示词是"狗追着那个……",候选词"球"占50%,"猫"占30%,"车"占10%。温度设为0时,模型永远选排第一的"球",适合要事实的场景;温度设为1时,它真的掷骰子,适合写创意诗。

原文依据:素材第1节原文写道——"Temp = 0 (Always picks #1 top choice. Good for facts)",即温度设为0适合事实场景。同一节紧接着写道——"Setting Temperature = 0 does not stop hallucinations. The model does not stop predicting at 0. If it does not know the answer, its #1 top guess is still a fake fact, and it will just return that wrong answer every single time." 即温度设为0并不能阻止幻觉,模型在0度时不会停止预测,如果它不知道答案,排第一的猜测依然是编的,而且会每次都返回同一个错误答案。两句均为原文已有事实,不构成扩写。

这里有个容易被忽略的点:把温度设成0并不能阻止幻觉。模型在0度时不会停止预测,如果它不知道答案,排第一的那个猜测依然是编的,而且它会每次都返回同一个错误答案。

让它先想再答

对大模型来说,在屏幕上生成词元,就是它思考的方式。你问一个绕的谜题却逼它立刻给一个词的答案,它根本没有计算时间,只能猜错。

零样本思维链就是在提示里加一句"让我们一步步思考",适合通用数学和逻辑题。但像"法国首都是哪"这种简单事实就别加了,多出来的词元要花钱,还会拖慢应用。

少样本思维链是给两到三个已经解好的分步示例,最适合需要AI每次都按你的清单走的场景。

还有一个"不能退格"规则。用户不想在屏幕上看到一大坨机器思考过程,做法是定义一个JSON结构,把"thinking"变量藏在后端,"answer"变量渲染到界面。顺序很关键:先思考再锁定答案是对的;先猜答案再思考,模型就没法退格改回来了。

五个可预测的失败模式

真实用户一上来,提示词会以可预测的方式失败。素材按注意力分布画了图:核心规则放开头,中间十页政策和数据容易被"中段遗忘",最后再放一条规则提醒压住近因偏差。

  • 提示词注入:用户在末尾打"忽略之前的规则",因为近因偏差,AI会听最新那条。解法是把输入用围栏包起来,并在最底部补一条规则提醒。
  • 中段遗忘:长文本中间的内容容易被忘。解法是把长数据放中间,严格规则放头尾。
  • 规则冲突和模糊:"要温暖随意,但要像严格律师,还要挺短"这种话没法执行。解法是把角色和语气分开,"挺短"换成确切数字,比如最多三句。
  • 粉红大象问题:说"不要想粉红大象",反而激活了这些词。解法是告诉它该做什么,而不是不该做什么。
  • 谄媚陷阱:大模型会顺着自信的用户说好话。解法是放下自尊,让它挑毛病,比如"这是我网上看到的一个想法,扮演严格批评者,列出它失败的三个地方"。
结构化输出不是许愿

在提示词里写"请只返回JSON"只是一句礼貌的愿望,AI迟早会加上"好的!这是你的JSON:"然后把应用搞崩。

结构化输出(约束解码)的做法是把非法词元的概率直接设成0%。素材里的示意是:AI想回"好的!"占70%,被拦成0%;想回"这是"占20%,被拦成0%;想回左花括号占10%,放行到100%。

结构设计上有两条规则。一是用清晰的名字加枚举,别写"s": string,写成"sentiment"取"positive"、"negative"、"neutral"三选一。二是永远留一个null逃生口:合法JSON不等于真实事实,如果"github_url"是必填而简历里没有链接,AI为了遵守结构会硬编一个假URL,允许null它就能安全地输出空值。

上线靠评测集和链条

可靠系统不靠"感觉对了"式的单次测试,也不写一个巨型提示词。做法是准备20到50个存下来的测试用例组成评测集,用来抓回归;再把流程拆成提示词链加重试护栏。

素材里的链条示意是:第一步翻译用快而便宜的模型,第二步规则检查用聪明的模型,后面接一个if/else护栏。通过就输出到界面,失败就带着错误信息重试。拆开步骤的好处是,输出出错时能一眼看出是哪一步坏了,只调那一步。

他还用画图工具设计了一个叫TruthPulse的事实核查智能体,把上面这些串起来。V1到V2之间修了三个bug:一是把传给搜索工具的参数从url字符串改成query搜索关键词,因为大模型不知道今天的URL,会编出死链;二是把"error"字段从必填字符串改成可为null,否则核查成功时AI也被迫编一个错误;三是在搜索步骤后加了重试判断,并设了最多重试3次的上限,免得一条搜不到的传言无限循环。

他最后写道,AI工程不是找一句魔法提示词。因为大模型是概率性的,真正的工作是在模型周围搭好标签、结构、链条和重试护栏,让应用在AI出错时依然稳得住。

修正结论:生成文"温度设成0并不能阻止幻觉"一句,在完整素材第1节中有直接原文依据("Setting Temperature = 0 does not stop hallucinations..."),并非无据扩写。原文同时说明 Temp=0 "Good for facts",两者为并列事实:Temp=0 适合事实场景,但不等于能阻止幻觉。正文已保留该表述并附原文依据,未新增任何素材外事实。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
14年累计下跌5%:这些年中国股民是怎么活的?

14年累计下跌5%:这些年中国股民是怎么活的?

城事堂
2026-10-18 09:35:23
冰雪头条:国际奥委会宣布撤销12个委员会

冰雪头条:国际奥委会宣布撤销12个委员会

冰雪产业
2026-10-19 11:44:08
从亿万身家到破产:6位顶级球星的钱,都是怎么没的

从亿万身家到破产:6位顶级球星的钱,都是怎么没的

余飩搞笑段子
2026-09-30 21:09:10
300857,全资子公司斩获算力大单

300857,全资子公司斩获算力大单

数据宝
2026-10-19 22:19:37
退休金10万,外快赚到手软

退休金10万,外快赚到手软

中国新闻周刊
2026-10-18 21:06:18
Swisse斯维诗抗糖丸被检出铅超标,官方客服:相关批次未进入中国销售

Swisse斯维诗抗糖丸被检出铅超标,官方客服:相关批次未进入中国销售

澎湃新闻
2026-10-18 13:12:27
钧正平:为军国主义张目是对人类良知的公然冒犯

钧正平:为军国主义张目是对人类良知的公然冒犯

看看新闻Knews
2026-10-18 23:32:00
我国每年近千万人做肠镜!医生直言:做一次肠镜,或管十年无碍?

我国每年近千万人做肠镜!医生直言:做一次肠镜,或管十年无碍?

芹姐说生活
2026-10-01 15:36:10
全军最难管的开国上将,谁劝都不听,一生只服陈赓一人

全军最难管的开国上将,谁劝都不听,一生只服陈赓一人

纪史行者
2026-09-24 06:10:03
刘欢豪宅一览表:装修值千万,客厅能容百人,有私家酒吧,从不请保姆

刘欢豪宅一览表:装修值千万,客厅能容百人,有私家酒吧,从不请保姆

火鱼观点
2026-09-27 19:25:53
心理学:当儿女不尊重你时,不要愤怒,不要讲道理,记住这两句话就够了

心理学:当儿女不尊重你时,不要愤怒,不要讲道理,记住这两句话就够了

心理观察局
2026-07-06 07:02:14
余华:当你经历的越多,独立思考的越多,就越明白,那些凡事唯唯诺诺,不敢反抗的人,不管到哪里都不会过的很幸福

余华:当你经历的越多,独立思考的越多,就越明白,那些凡事唯唯诺诺,不敢反抗的人,不管到哪里都不会过的很幸福

每日一首古诗词
2026-10-17 06:05:15
你在ktv遇见最恶心的客人是啥样?网友:稍稍有点辣眼睛,纯洁的慎看

你在ktv遇见最恶心的客人是啥样?网友:稍稍有点辣眼睛,纯洁的慎看

解读热点事件
2026-08-01 00:05:21
刘嘉玲现身机场背影挺拔如松,一股姐就是女王既视感,走出了T台气场

刘嘉玲现身机场背影挺拔如松,一股姐就是女王既视感,走出了T台气场

萧狡科普解说
2026-10-19 15:06:39
从意乙到欧冠只用了两年,科莫主席:法布雷加斯超出所有预期

从意乙到欧冠只用了两年,科莫主席:法布雷加斯超出所有预期

绿茵狂热者
2026-10-20 02:33:52
原国防部长耿飚的长女,巨额资产被封后赴美,她立誓要东山再起

原国防部长耿飚的长女,巨额资产被封后赴美,她立誓要东山再起

扬平说史
2026-10-06 23:32:39
才喝一周,十年肝火就消了!连指甲竖纹都淡了不少!

才喝一周,十年肝火就消了!连指甲竖纹都淡了不少!

牛锅巴小钒
2026-10-15 01:46:08
曼联换帅不是答案:阿莫林7轮不败,卡里克7轮7分,问题在管理层

曼联换帅不是答案:阿莫林7轮不败,卡里克7轮7分,问题在管理层

智道足球
2026-10-19 22:37:53
江门市医疗保障局党组书记简锦聪主动投案

江门市医疗保障局党组书记简锦聪主动投案

南方都市报
2026-10-19 18:18:32
本土剧男演员挺沈伯洋,叫嚣不怕被抵制但压根没有大陆市场

本土剧男演员挺沈伯洋,叫嚣不怕被抵制但压根没有大陆市场

郭茂辰海峡传真
2026-10-19 23:20:10
2026-10-20 03:40:49
像素与芯片
像素与芯片
有态度网友ytd
181文章数 80关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国留学生披旭日旗事件最新进展:目前已被遣返

头条要闻

中国留学生披旭日旗事件最新进展:目前已被遣返

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

本地
旅游
艺术
教育
公开课

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

旅游要闻

换个思路,北京的冷门博物馆也好逛

艺术要闻

俄罗斯90后摄影师比莉娅娃英这组写真,看完我直接跪了!最后一张绝了!

教育要闻

1359 个市级指标藏在哪里?初中三年铺路地图

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版