北京
分享至
多步工具工作流里，上下文裁剪一直是个两难：省token还是保成功率。一项研究把五种裁剪策略拉出来做了对比，结果有点反直觉。
省得越多，掉得越狠
常规的近期性、相关性和摘要策略，能省下约60%的token。但代价是任务成功率掉到66.6%-77.3%之间。省下来的预算，最后被失败重试吃回去了。
协议感知裁剪做对了什么
另一种思路是协议感知裁剪。它不按"新旧"或"像不像"来删，而是保留四类东西：
- 标识符
- 约束
- 工具 schema
- 未决承诺
再配合自适应预算护栏，这套组合拿到96.0%的任务成功率，级联失败只有1.0%级别，同时仍然省下56.0%的token。
差在哪
省token的比例只差几个点，成功率却差了近30个百分点。裁剪策略删掉的是不是"协议必需项"，看来比删掉多少更关键。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
