智能体可信任危机

AI 智能体领域人们的关注核心一直是能力问题。智能体的推理能力够不够？能不能使用工具？能不能进行多步骤规划？而现在，关切的重心已经转移到了：在无人监督的长时间运行中，我们能否信任它们的行为？

随着智能体从短时有限任务转向持续数小时乃至数天的自主工作，新型故障模式不断涌现。智能体在未完成的工作上宣布成功，固守错误的策略，空转而无法产生任何可检验的信号，或者利用评估系统中的弱点制造成功的假象。这些不是 bug，而是长时间自主运行系统在缺乏充分监督机制下的结构性缺陷。

这就是智能体可信性危机——这是一场架构层面的危机。

当智能体自我评判时

第一个也是影响最深远的问题是：智能体无法正确评估自己的工作。在一个长时间任务中运行的系统，被设计为朝推进和完成的方向优化。当评估函数与执行函数处于同一循环内时，智能体就会高估输出质量。它们在外部证据确认成功之前就停止了，产出看起来已完成的作品——因为制作它们的系统同时也是评估它们的系统。

完善方案不在于更精巧的提示词。评估必须独立于执行之外。生产工作的过程不能同时也是验证它的过程。当这两个功能被分离——由一个独立的监督者根据实际产物和可衡量的结果来检验声明——智能体就会将任务执行到底，而不是在自己想停的时候就停。

锚定效应

另一种常见的故障模式是过度投入（overcommitment）：智能体锚定在它生成的第一个看似可行的方案上，持续深挖，即使尝试其他方向可能更合理。内部循环不断执行，轨迹持续推进，而搜索空间却在不断收窄，继续的期望价值不断衰减。

在我们的一次试验中，一个智能体花了 14 小时在一个复杂的建模方法上，不断累积复杂度和成本；而另一次独立运行同一任务时，通过尝试 19 个更简单的替代方案，在不到 3 小时内就找到了同样好的结果。第一个智能体严格来说并没有"失败"——因为没有任何单个步骤明显出错——但它在错误的方向上"成功"了。问题出在整个轨迹上。

反向情况同样存在。智能体有时会因为当前策略行不通就断定任务不可能完成，而实际上它应该只是放弃当前策略。一个临时性的基础设施故障、一个糟糕的初始估计、或一个误导性的早期结果，就可能让智能体把整个问题判死刑。

这些归根结底都是监督失败。判断是否继续、转向还是停止某一特定策略，需要一个比任何在单一轨迹内部运行的智能体都更宽广的视角。

状态、记忆与漂移问题

运行数小时的智能体会积累历史记录。这些历史本应是有用的，但往往将它们引向歧途。记录时准确的记忆会过期失效。失败摘要累积的负面框架会抑制探索。已不再适用的约束条件继续收窄搜索空间。

在一个案例中，一个智能体加载了 10 条关于此前环境困难的准确、有据可查的记录，然后保持了 12 小时的不活跃状态。而底层问题的实际修复只需要一个 10 分钟的配置变更。智能体从未尝试过，因为它的记忆记录了一个"充满敌意的环境"。

反直觉的是，删除记录往往比添加记录更有价值。仅追加的记忆存储是一个等待爆发的累积问题。持久化记忆需要主动治理，需要明确的策略来规定保留什么、降权什么、彻底删除什么。削弱判断力的记忆不应该存活。

为人设计的工具，而非为智能体

一个不太显眼但同样关键的故障点，是智能体与其使用工具之间的接口。大多数工具是为人类调用者设计的——人类每次交互都会带入判断力和上下文理解。智能体无法可靠地做到这一点。

当工具对超时或无效输入返回模糊响应时，人类可以即时解读。智能体则会将其变成一个推理问题。面向智能体消费的工具需要结构化的、机器可读的响应，包含明确的成功和失败状态，以及关于失败是否可重试的清晰信号。

工具层直接塑造智能体行为，设计拙劣的接口会在每一次触及它的运行中降低可靠性。

一个相关的问题在上下文（context）层面累积。长时间运行的智能体随时间推移积累能力，默认加载所有内容意味着工作上下文中包含了大量与当前决策很少相关的材料。修复方案是将默认上下文视为能力索引（capability index）而非能力库（capability library）——工具和参考资料在需要时才显式加载。

同样的纪律适用于记忆检索。持久化状态应该被按需查询相关切片，而非整块复制到提示词中。上下文是有限资源，如何管理它是一个架构选择，直接影响可靠性。

可观测性的缺失

当智能体在数小时的多步骤计算中陷入沉默时，从系统外部无法判断它是在高效工作还是已经停滞。

我们需要可观测性（observability）来监控后台作业，即存在于智能体循环之外的长时间运行任务。可观测性不能事后加装，必须从一开始就作为结构化、持久化的记录内建于系统中——记录每一个决策、工具调用、状态变更和监督动作。

这份记录使得人工审查成为可能，让监督者能在轨迹偏离时介入，也让事后结果可审计。

智能体信任危机不会通过更好的前沿模型来解决，而是要在它们周围构建更好的系统。智能体需要一个监督者、一个评估层、一个记忆基底、约束执行机制和一个可观测性界面。只要这些组件缺失或薄弱，能力再强的智能体也会持续产出不可靠的结果。