99%的单步成功率听起来很稳。但把这个数字放进长程任务里,账就不是这么算的了。
按素材给出的推演:如果每个动作有99%的概率成功,一个10步的任务,全程不出一次失败的概率是90%。步数拉到100步,这个数字掉到37%。单步只差1个百分点,任务一长,差距被指数级放大。
那给每个失败的动作加一次重试呢?在假设失败彼此独立的前提下,37%能拉回到大约99%。看上去问题解决了。但重试远没有这么简单。
第一种情况:动作其实成功了,只是响应超时。这时候重试,等于把它又执行了一遍。第二种情况:失败之后系统已经不在原来的状态里了。这两种情形都说明,失败之间大概率并不独立。
所以在决定下一步做什么之前,得先搞清楚刚才到底发生了什么。这也是长程智能体不能只当成一个LLM问题来看的原因——更好的模型当然需要,但模型周围的那套系统同样关键。
把这条逻辑摊开看,长程智能体的可靠性其实是三层账:单步成功率决定上限,任务步数决定衰减速度,重试机制决定能不能把衰减拉回来。前两层是数学,第三层是工程。
而第三层恰恰最难。重试要成立,前提是系统能判断上一次动作的真实结果——是没执行、执行了没返回、还是执行了但状态已经变了。判断错了,重试就从补救变成重复执行。
这也是为什么单看模型跑分不够。一个模型在单步评测里表现再好,放进几十上百步的链路里,每一次状态判断的模糊都会被放大成一次错误的重试决策。
素材里那句判断说得很直接:更好的模型是必需的,但围绕模型的系统同样重要。长程智能体的可靠性,从来不是某一个环节的分数能单独决定的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.