做AI应用的人,每隔几天就要面对同一个岔路口:要么把智能体管住,要么把理由交给它。前者是再加一条规则、再加一道检查、再列一份"不许做"的清单;后者是把它为什么该这么做讲清楚,然后让它自己往下走。
每次遇到这个岔路口,选择都一样——站在理由这边。
理由不在口味,在形状。规则是一张清单,它只能列出有人想到过的那些情况,于是每冒出一个新情况,清单就得加长一行;而没被写进清单的,读起来就等于"允许"。这就是为什么一个没有"为什么"的"不行",实际效果是一个"行"。
理由不是清单,理由是清单的原材料。把理由交给模型,它能自己推出那些没人写下来的情况,而且不管最后推出来多少种情况,成本都一样。
还有第二层差别,模型越强,这层差别越要命。对会推理的模型来说,规则是外来的东西,它只能选择服从,或者拿它去和其他规则互相掂量——而掂量本身没有秤。理由不一样,理由是可以拿来思考的材料,和它自己思考所用的东西是同一种材质。把理由交给模型,不是把它按住,是把它最擅长的那件事喂给它。
由此可以推出两件事。
第一,规模扩大时没有东西会被撑破。一条对某个智能体成立的理由,对每一个智能体都同样成立,因为智能体的数量在这个理由里根本不出现。真正随规模增长的是另一件事:人有多少次遇到需要新做决定的情况。这才是值得花力气的问题。
第二,能力站在理由这一边。模型越强,越擅长在规则里找出那个没被覆盖的缺口,也越擅长把一条理由带到新地方去用。押注规则,等于押注每一代新模型都在变强的那项能力的反面。
这不意味着放弃护栏。护栏留着,而且重要。变的是护栏的职责。一个按人的理由干活的智能体,几乎碰不到护栏;所以一道频繁触发的护栏,本身就在告诉你信息——交给它的理由缺了,或者错了。那个"停",变成了关于框架的信号,而不是框架本身。
这套逻辑,做产品的人自己也得挨一遍。Unl 做的事是把一个人的理由带给他的AI。以前遇到拿不准某个请求该带哪些理由时,它的做法是多带,图个安全。实际跑下来,AI有时被塞进太多东西,多到应用根本不会把它传给模型,结果什么都没送到。
10月11日,规则改了。Unl 拿不准的时候,只完整保留那些会改变答案的内容,其余每条压成一行,附上它的"为什么",离被展开只差一步。会推理的模型,拿到几条彼此关联、切中任务的理由,比拿到一大堆更管用。少而选得准,是同一个赌注。
把理由交给一台会推理的机器,让它去做它最擅长的事。别跟推理对赌。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.