微软在Agent Framework的概览页面上写得很清楚:你用它的模型搭建应用,就得自己负责仔细审查和测试,结合具体场景做出所有适当的决定和定制,包括实施自己的负责任AI缓解措施,比如元提示、内容过滤器或其他安全系统,并确保应用达到相应的质量、可靠、安全和可信标准。
艾伦研究所在OLMo的模型卡上也是同样的口径:OLMo或任何大语言模型给出的许多陈述往往不准确,事实应当被核实。LangChain在自己B轮融资公告里,干脆把整个品类定义成"将非确定性的LLM系统迭代打磨成可靠体验的过程"。
注意"迭代"这个词。可靠性是发布一版又一版之后逐步逼近的东西,没有人承诺你终会抵达。
连研究机构也画了同一条线
2026年10月9日,谷歌云AI研究团队发布了Harness²,一个不改动模型本身、只改进模型周边系统的框架。论文报告了在三个专业基准上的提升。在局限性部分,作者这样描述他们用来判断某项改动是否有帮助的信号:这些信号不保证正确性,也不能确立某项被采纳的改动会迁移到另一个任务上。
这种坦诚值得尊重。但模式也很明显:模型厂商、框架厂商、平台厂商,如今再加上做自我改进系统的研究实验室,全都画了同一条线。每一方都在提高胜算,没有一方为答案本身背书。
核查的担子落到了你身上。上面引用的每一个页面,都把这张账单递给了读输出的人。
演示里的系统,不是眼前的系统
有人做了三十年分布式系统救火队员——生产环境出问题时被叫去现场的那种。这份工作会让人很快学会一件事:演示里的系统不是眼前的系统,唯一能信的是你自己查过的东西。那行日志、那个行数、那份diff。
AI把同一个问题抬高了一层。输出读起来很顺,无论它对不对,读起来都很顺。而卖你输出的人,已经把规则写进了自己的文档:核查是你的活。
Merlin建立在相反的假设上。如果没有人替答案担保,那么产出答案的系统就必须自己携带答案的证据,并且必须拒绝声称任何证据不支持的东西。这不是一个可以打开的开关,而是整个系统运行的规则。
所以问题该换个问法了。别问模型好不好,问谁在核查答案。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.