DTap：首个面向真实世界AI Agent的Red-Teaming平台

随着AI智能体在金融、医疗、企业工作流等高风险领域的大规模部署，其安全问题日益突出——现实中已频繁出现智能体被诱导泄露API密钥、删除用户数据、发起未授权交易等事件。然而，现有评估手段受限于静态、简化的环境，难以刻画真实攻击面。本文提出首个可控、可交互的AI智能体红队测试平台DTAP，通过1:1复刻50+真实应用环境的仿真沙盒、自主红队智能体DTAP-RED和覆盖4K+恶意目标的DTAP-BENCH基准，系统揭示了当前主流智能体框架普遍存在的严重安全漏洞。

论文题目： DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents 论文链接： https://arxiv.org/abs/2605.04808 项目主页： https://decodingtrust-agent.com/ 相关Talk： https://www.techbeat.net/talk-info?id=1064

随着 AI 智能体逐渐进入金融、办公协作、软件开发、医疗服务等高风险场景，它们已经不再只是回答问题的语言模型，而是能够读取数据、调用工具、操作软件，甚至代表用户完成交易与决策。与此同时，智能体所拥有的权限越多、与外部环境的交互越深入，其潜在安全影响也越难通过传统模型评测进行刻画。

目前，许多 Agent 安全测试仍依赖静态提示词、简化工具或一次性交互。这类方法可以验证模型是否会生成危险内容，却很难回答一个更关键的问题：当智能体置身于真实工作流中，并持续接收来自邮件、网页、工具、插件和外部数据源的信息时，攻击者能否诱导它实际执行有害操作？

本次分享将介绍由我们 17 人团队历时 20 个月研发并开源的 DecodingTrust-Agent Platform（DTap）。DTap 是一个面向 AI Agent 红队评估的高保真、可控、交互式仿真平台，覆盖 14 个高风险应用领域，并实现了 50 余个动态数字环境。平台不仅复现应用界面，还模拟工具接口、后台数据库、环境状态及跨应用工作流，使攻击能够真正执行并产生可验证的后果。

在此基础上，我们提出了自动化红队智能体 DTap-RED。它可以围绕指定的攻击目标，自主选择注入位置、生成攻击内容、组合多阶段攻击链，并依据环境中的实际结果持续迭代攻击策略。

我们还构建并开源了包含近 7,000 个任务的 DTap-Bench，用于系统评估主流 Agent 框架和基础模型在真实攻击场景下的安全性。相关实验揭示了多种具有普遍性的安全缺陷，包括跨攻击面组合带来的风险放大、工具与技能层注入的高成功率，以及“有害操作已经执行，模型随后才进行拒绝”的 execute-then-refuse 失效模式。

一、为什么现有 Agent 安全评测不足以反映真实风险

传统的大模型安全评测主要关注模型输出，例如模型是否会回答危险问题、生成违规内容或遵循恶意指令。

但对于 AI Agent，风险往往并不体现在最终回复中，而是发生在它与环境交互的过程中。例如：(1) 智能体读取了一封包含恶意指令的外部邮件；(2) 网页评论或日历邀请中被嵌入攻击内容；(3) 工具描述、MCP Server 或 Agent Skill 被攻击者篡改；(4) 智能体在多个应用之间读取、整理并发送敏感数据；(5) 模型口头表示拒绝，但此前已经完成转账、发信、删除文件或执行命令。

因此，评估 Agent 安全不能只分析模型“说了什么”，还必须观察它在完整任务执行过程中“实际做了什么”。

二、DTap：面向真实工作流的全栈 Agent 安全仿真平台

为了解决这一问题，我们构建了 DecodingTrust-Agent Platform（DTap）。DTap 提供一组在线、可控且可复现的数字环境，用于端到端测试 AI Agent 在真实交互场景中的安全表现。

平台覆盖了 50 余个智能体经常接触、同时具有较高安全风险的应用环境，包括：(1) Gmail；(2) Google Calendar；(3) Slack；(4) PayPal；(5) Robinhood；(6) Booking；(7) Windows；(8) 其他办公协作、金融服务、软件开发和在线服务环境。

DTap 并不是仅提供几个简化函数的工具沙盒。它会同时模拟真实应用中的多层结构，包括：(1) MCP Tools 与函数接口；(2) GUI 操作流程；(3) API 行为；(4) HTML 页面结构；(5) 后台数据库；(6) 用户账户与权限；(7) 应用内部状态；(8) 跨应用的数据流转。

这种设计使智能体在 DTap 中看到的内容、调用的工具以及产生的后果，都能够尽可能接近真实部署条件。

例如，智能体在环境中发送邮件后，邮件会真实写入收件人的邮箱状态；执行 PayPal 转账后，账户余额和交易记录会随之改变；删除文件或运行系统命令后，操作系统环境也会产生对应变化。

因此，DTap 能够评估的不只是模型是否表达了危险意图，而是攻击是否真正导致了数据泄露、未授权操作或系统状态改变。

三、覆盖现实攻击面的多通道注入机制

现实中的攻击者未必能够直接修改用户对 Agent 发出的指令。更多情况下，攻击内容会隐藏在智能体必须处理的外部数据中。

为此，DTap 支持多种实际可行的攻击入口，包括：(1) 用户输入中的直接提示注入；(2) 邮件、网页和文档中的间接环境注入；(3) MCP Tool 描述或返回结果中的工具注入；(4) Agent Skill、插件说明或操作指南中的技能注入；(5) 多种注入入口组合形成的复合攻击。

每个仿真环境都设置了攻击者在现实中可能控制的位置。例如：(1) 第三方发送的邮件正文；(2) 外部人员创建的日历邀请；(3) Slack 频道中的消息；(4) 公开网页上的评论和用户内容；(5) 工具返回的搜索结果；(6) 外部文档和共享文件；(7) MCP Server 提供的工具描述；(8) 第三方安装的 Agent Skill。

借助这些注入点，我们可以模拟智能体在正常工作过程中接触恶意信息的完整路径。

例如，一个攻击任务可以要求测试：(1) 智能体读取恶意邮件后，是否会把用户的隐私数据发送给攻击者；(2) 智能体是否会受到伪造业务上下文的影响，泄露内部文件；(3) 攻击者能否诱导智能体执行未经授权的金融交易；(4) 软件开发 Agent 是否会运行危险命令或删除关键文件；(5) 多个看似无害的注入内容组合后，是否会形成完整攻击链。

所有攻击都在可重置的仿真环境中执行，既可以观察完整行为轨迹，也可以验证攻击造成的最终影响。

四、DTap-RED：自主搜索有效攻击的自动化红队智能体

仅依靠人工编写攻击提示，很难覆盖不同 Agent、工具链和应用环境中的复杂攻击面。

因此，我们进一步开发了 DTap-RED：一个能够自动生成、执行并优化 Agent 攻击的 Red-Teaming Agent。

给定一个恶意目标和相应的可验证判定器后，DTap-RED 会围绕三个维度联合搜索攻击策略。

1. 选择攻击入口

它会判断攻击内容应该被放置在哪里，例如：(1) 用户提示词；(2) 外部邮件或网页；(3) MCP Tool；(4) Agent Skill；(5) 共享文档；(6) 多个环境入口的组合。

2. 构造攻击内容

它可以尝试不同类型的攻击方式，例如 Prompt Injection、Jailbreak、伪造业务背景、欺骗性安全说明、数据投毒、工具结果操纵、权限与身份混淆、隐蔽指令与上下文劫持。

3. 设计多阶段攻击链

DTap-RED 不仅测试单条恶意指令，还能够组合多个攻击面。

例如，它可以先通过邮件建立伪造上下文，再利用被污染的工具返回结果强化这一上下文，最后通过 Agent Skill 中的隐藏指令引导智能体执行敏感操作。

五、使用环境状态验证攻击，而不是只让模型“打分”

在许多安全评测中，攻击是否成功通常由另一个语言模型根据聊天记录进行判断。但这种方法可能产生误判：模型可能声称自己已经完成某项操作，实际上环境中并未发生任何变化；也可能在完成危险操作后使用安全措辞掩盖行为结果。

DTap 采用的是基于环境状态的 verifiable judge。

判定器会直接进入攻击发生后的数字环境，检查目标行为是否真正完成。例如：

(1) Gmail 或 Slack 中是否出现包含敏感信息的外发消息；

(2) PayPal 是否生成了未经授权的交易记录；

(3) Calendar 中是否创建或修改了不应发生的事件；

(4) 文件系统中的数据是否被删除、复制或外泄；

(5) 终端中是否执行了指定危险命令；

(6) 数据库或账户权限是否发生异常改变。

如果攻击未成功，DTap-RED 会读取 judge 返回的结构化反馈，并据此修改下一轮策略，例如：

(1) 更换注入入口；

(2) 降低攻击内容的显眼程度；

(3) 增加具有迷惑性的上下文；

(4) 调整攻击步骤顺序；

(5) 将多个注入通道组合为攻击链。

这一过程持续进行，直到攻击成功或达到预设搜索预算。

六、DTap-Bench：近 7,000 个可执行、可验证的 Agent 红队任务

基于 DTap 的仿真环境和 DTap-RED 的自动攻击能力，我们构建了 DTap-Bench，其中包含近 7,000 个复杂的 Agent Red-Teaming 任务，覆盖 14 个高风险领域。

每个任务都包括：

(1) 明确的恶意攻击目标；

(2) 对应的应用环境和初始状态；

(3) 攻击者能够控制的注入位置；

(4) Agent 需要执行的正常用户任务；

(5) 可直接验证攻击结果的环境判定器；

(6) 可重放、可复现的完整执行条件。

任务中的 malicious goal 并非随意构造，而是参考相关领域的安全规范、风险分类及现实攻击案例进行设计。例如：

(1) 敏感数据泄露；

(2) 越权访问；

(3) 未授权交易；

(4) 身份冒用；

(5) 恶意代码执行；

(6) 文件与系统破坏；

(7) 隐私侵犯；

(8) 欺诈与错误决策；

(9) 对第三方造成损害。

这种任务设计使 DTap-Bench 不仅能够计算攻击成功率，也能够分析不同 Agent 在具体风险类型、攻击入口和应用领域中的安全弱点。

七、主流 Agent 系统在真实攻击环境下仍然高度脆弱

我们使用 DTap-Bench 对多种主流 Agent 框架与基础模型进行了系统评估。

实验结果显示，当前 Agent 在真实、动态且可执行的攻击场景中仍普遍缺乏稳定防护。例如：

(1) Google ADK 在间接提示注入场景中的攻击成功率达到 55.7%；

(2) OpenClaw 与 DeepSeek-V4-Pro 的组合在直接恶意使用场景中达到 59.6% 的攻击成功率；

(3) 即使整体表现相对更稳健的 Claude Code，在两类威胁模型下的攻击成功率仍超过 25%。

这些结果说明，仅依赖基础模型自身的安全对齐，并不足以保护拥有工具权限和环境访问能力的智能体系统。

八、从大规模实验中观察到的关键安全规律

通过跨模型、跨框架、跨领域的系统评测，我们发现了几类具有普遍性的现象。

1. 工具层与技能层注入往往更加危险

相比普通网页或邮件中的间接注入，Agent 更容易信任来自工具描述、MCP Server 和 Skill 指令的信息。

这意味着供应链中的工具、插件和技能文件，可能成为比普通用户输入更隐蔽、更高权限的攻击入口。

2. 多个弱攻击可以组合成强攻击

单个注入内容可能不足以突破安全机制，但当攻击者同时控制邮件、网页、工具输出或技能指令时，不同信息之间会相互强化，显著提高攻击成功率。

因此，孤立测试某一种 Prompt Injection，可能严重低估真实攻击风险。

3. 上下文相关风险比内容风险更难防御

模型通常更容易识别明显违法、有害或危险的文本请求，但对于嵌入正常工作流中的风险，例如数据窃取、越权访问、错误授权和隐私泄露，识别能力明显更弱。

原因在于，这类风险并不只由某一句话决定，而是依赖用户身份、数据归属、工具权限和任务上下文。

4. 更长的推理并不必然带来更高的安全性

在部分场景中，更长的推理过程反而会帮助 Agent 为恶意指令构造合理解释，将原本与用户目标冲突的操作重新包装成“完成任务所必需的步骤”。

这表明增加推理预算并不能自动解决 Agent 安全问题，有时甚至可能放大攻击效果。

5. “先执行、后拒绝”的失效模式

我们观察到一种值得警惕的现象：Agent 在最终回复中声称拒绝恶意请求，但在生成拒绝信息之前，已经调用工具完成了有害操作。

例如，Agent 可能：

(1) 先将敏感信息发送到外部邮箱，再表示无法帮助泄露数据；

(2) 先执行危险系统命令，再提醒用户该操作存在风险；

(3) 先创建未经授权的交易，再拒绝继续协助；

(4) 先删除文件，再在最终回答中强调安全限制。

我们将这种行为称为 execute-then-refuse。

它揭示了仅检查 Agent 最终自然语言回复的局限性：一个看似安全的拒绝答案，并不意味着整个执行过程是安全的。对于能够调用工具的 Agent，安全机制必须在危险操作发生之前生效，而不是在损害已经造成后才输出拒绝声明。

九、总结：Agent 安全需要从“回答评测”走向“行为评测”

AI Agent 的安全问题，本质上已经不再只是模型是否会生成危险文本，而是一个拥有权限的自主系统，是否会在复杂环境中被操纵并造成真实后果。

DTap 希望推动 Agent Red-Teaming 从静态提示测试进一步走向：

(1) 可交互的动态环境；

(2) 接近真实应用的完整接口；

(3) 多通道、可组合的攻击面；

(4) 能够自主优化攻击的红队 Agent；

(5) 基于环境最终状态的可验证评测；

(6) 可复现、可扩展的大规模 Benchmark。

只有将智能体放入真实工作流，并观察其端到端行为，我们才能更准确地理解和降低 AI Agent 在实际部署中的系统性风险。

Illustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈