当语音智能体开始「边聊边干活」：DuplexAgent-RSI让全双工协作进入自进化时代

本研究由香港中文大学（深圳）与 安菲翁科技（Amphion Technology）联合完成。通讯作者武执政是香港中文大学（深圳）副教授、国家级青年人才、安菲翁科技创始人。申英达、王宇翔、冯坤宇、倪钦科、李珈祺、徐明皓、张峻安、陈德坤、边雨桐是港中深硕士生、博士生。此次提出的 DuplexAgent-RSI 融合实时语音交互、复杂任务执行与协作机制自我改进，为物理 AI 时代的智能终端探索更自然、高效的交互方式。

语音是人类最自然、最习惯的交互方式。随着代码智能体、办公智能体逐渐普及，人们对智能体的期待也不再只是 “问一个问题、得到一个答案”，而是希望像和同事一样持续沟通，共同完成一项工作：任务进行到一半，可以随时询问进展；想到新要求，可以直接补充；方向变了，也可以马上取消或修改。

理想中的语音智能体，不应该只是一个轮流问答的工具，而应该像一个始终在线的助手。但要做到这一点，系统必须同时处理两条时间线：一边持续听和说，一边在后台执行搜索、推理、工具调用或代码任务。

香港中文大学（深圳）与安菲翁科技的研究团队最新推出的 DuplexAgent-RSI，正是为了解决这类问题。

这个名字本身概括了项目的两层设计：DuplexAgent指全双工语音智能体 —— 它可以在执行任务的同时继续听你说话、回应进展；RSI是 Recursive Self-Improvement，指系统通过自动测试、分析失败和验证修改，持续改进自己的协作框架。

• 论文链接：https://arxiv.org/abs/2610.11299
• 项目链接：https://amphionteam.github.io/DuplexAgent-RSI-Demo/

因此，DuplexAgent-RSI 的核心并不是让一个更大的模型单独完成所有事情，而是让实时对话、后台执行和协作控制形成一个可以持续改进的整体。

DuplexAgent-RSI 让语音智能体在交互不中断的情况下持续协作，并通过自我测试不断改进协作能力。

视频链接：https://mp.weixin.qq.com/s/H4J3TBVGNcok3gdpB3OYww

DuplexAgent-RSI - Demo 演示节选

1. 前台持续交流，后台执行任务：让语音智能体边聊边做

你让智能体写一个贪吃蛇小游戏。后台刚开始执行，你突然改口：“取消贪吃蛇，换成俄罗斯方块。” 就在新任务启动时，你又继续补充要求，而旧任务的结果刚好返回。系统需要知道：旧任务已经失效，新任务才是当前目标；用户还在说话，现在不能插入播报；后台执行也不能因此中断对话。难点不只是听见 “取消”，而是让这句话真正改变正在进行的协作。

DuplexAgent 的基本思路，是让实时交互与后台执行各司其职，并通过协作控制层协调两者。

全双工交互模型负责实时听说，让用户在任务执行期间仍能询问进展、补充要求或提出任务调整；需要搜索、复杂推理或编程的工作，则异步交给后台的推理模型和编码智能体。协作控制层负责协调任务分派、状态管理、上下文传递与结果交付，让后台工作跟上用户不断变化的需求。

真正困难的部分，也正是这层协作控制。

用户说 “换一个” 时，系统需要结合上下文，判断是在替换当前任务，还是提出新的请求；后台结果返回时，需要确认它是否仍符合用户的最新目标；用户还在说话时，则需要等待合适的时机再交付结果。

2. 六个模块，让每个协作决策都有归属

研究团队把完整协作链路拆成六个模块。这不是为了把系统人为拆复杂，而是让每一种决策都有清晰的职责和可观察的行为：

• Policy：决定直接回答、委托执行，还是控制已有任务；
• Intake：理解用户请求，并判断它对应哪个任务；
• Hold：任务执行期间维持对话和进度反馈；
• Worker：选择合适的后台智能体并传递任务；
• Deliver：决定什么时候、以什么方式返回结果；
• Memory：维护对话和后台任务共享的上下文。

系统还维护一份任务台账，记录任务编号、版本、状态和交付历史。因此，贪吃蛇任务即使在取消后才返回，也会被标记为过期，不能再次成为当前结果；俄罗斯方块完成后，Deliver 模块还要等到用户停顿，再把最新结果交还给用户。

这样，当系统出现问题时，就可以精确定位：究竟是任务理解、上下文、后台执行，还是结果交付出了问题，再针对对应模块进行优化。

3. 语音智能体如何 “自进化”？从协作失误中找到改进方向

为了让协作能力持续提升，研究团队提出Duplex-Harness-RSI，通过自动测试、失败诊断和验证修复，形成协作框架的 “自进化” 闭环。

生成测试 → 运行协作 → 记录轨迹 → 诊断失败 → 定点修复 → 配对验证

测试不只是问一个问题，然后看答案对不对。模拟器会安排用户在不同时间取消任务、修改目标、插话或与结果返回发生重叠，再检查系统是否做出了正确的任务控制和交付决策。

研究团队构建了包含 19 类请求类型和 22 种交互模式的测试空间。系统会改变说法、语速、语言、口音、说话人和噪声，但保留场景的核心要求：旧任务是否应该失效？新任务是否被正确接管？结果是否在合适的时间返回？

发现失败后，推理模型担任 “出题考官”，决定下一轮重点测试什么；编程智能体担任 “修复工程师”，根据失败证据修改对应模块。

候选修改必须和当前版本在同一组测试上进行配对比较，再通过独立保护集检查。改动没有带来可靠改善，就不会被保留。

这里的 “自进化” 有清晰边界：实验中保持模型权重不变，系统改进的是协作控制层的规则、配置和执行逻辑。它不是在用户对话现场自动修改自己，而是在可控的测试环境中，根据证据逐轮修复。

4. 保持实时交流，也能完成更复杂的任务

边聊边干活，既要保持对话响应，也要把任务做对。研究团队从语音知识问答、可执行工具调用和全双工交互三个方面，评估了 DuplexAgent 的完整系统能力。

在 Qwen-Audio-3-Realtime 配置下，相比独立交互模型，DuplexAgent 将科学知识语音问答 OBQA 的准确率从86.3% 提升至 92.1%，多学科语音理解 MMSU 从64.8% 提升至 82.7%。工具调用能力也同步提升：BFCL 平均分从82.0% 提升至 90.8%，FDB-v3 Pass@1 从39.0% 提升至 49.0%

在增强任务能力的同时，系统仍保持了较强的实时响应能力：用户打断后的有效回应率 Interrupt TOR 从89.0% 提升至 97.0%

在 Nvidia-VoiceChat 配置下，提升同样明显。MMSU 从36.1% 提升至 80.5%，BFCL 平均分从53.5% 提升至 75.8%，FDB-v3 Pass@1 从16.0% 提升至 47.0%。在两种交互模型配置下，DuplexAgent 的上述问答和工具调用指标均超过了对应的 Qwen-Audio-Agent。

这些提升来自后台推理能力与协作机制的共同配合。系统需要判断哪些请求可以直接回答，哪些需要委派；委派时保留完整的问题、参数和上下文；结果返回时，再确认任务是否仍然有效，以及当前是否适合开口。

如何协调实时对话与后台执行，直接影响了后台能力能否转化为可靠的任务结果。

5. 十轮之后，协作得分从 54.6% 提升到 85.3%

完整系统的结果展示了协作能力，而进一步的问题是：负责协调任务与对话的 Harness，能否根据失败经验持续改进？

研究团队在 Nvidia-VoiceChat 配置下，对比了一次性编辑、连续编辑十轮，以及完整的 Duplex-Harness-RSI 闭环。

在固定核心测试集上，初始 Harness 的协作得分为54.6%。将测试材料汇总后进行一次性编辑，得分达到57.4%；按照测试顺序连续编辑十轮，得分达到61.9%。完整的 Duplex-Harness-RSI 闭环则在十轮后达到85.3%，比初始版本提升30.7 个百分点

其中，“应该委派却没有委派” 的失败，占固定核心测试集的比例从30.3% 降至 1.3%。系统通过失败轨迹定位问题，再针对相关模块进行修复，逐步改善了请求路由与任务衔接。

在另一组独立的 Qwen-Audio-3-Realtime 实验中，经过8 次通过验证并保留的版本更新，协作得分也从 47.1% 提升至 84.8%。

整个过程中，交互模型的权重保持不变，改进发生在协作 Harness 层。每轮测试产生失败轨迹，诊断指出需要修复的模块，修复档案保留以往的尝试，再通过新旧版本的配对测试和独立保护集，决定哪些修改可以留下。

这些结果表明，失败诊断、修复历史与验证机制，让每轮修改能够积累为更可靠的协作能力。

6. 从 “会聊天” 到 “会协作把事情做完”

传统语音助手通常把一次问答看成一个完整回合：用户说完，系统回答。

但真实对话很少这样整齐。用户会犹豫，会补充，会打断，也会在任务已经开始后临时改变目标。

DuplexAgent-RSI 关注的正是这些 “回合之间” 的协作过程：系统能不能听懂用户正在改变什么，能不能让后台任务跟上新的目标，能不能在结果仍然有效且不打断用户的时候开口。

这项工作的价值，不只是让一个语音智能体答对更多问题，而是让它在复杂任务执行过程中，持续知道自己正在做什么、用户现在想要什么，以及什么时候应该把结果交还给用户。

从 “会聊天” 到 “会协作”，语音 Agent 还需要跨过一段距离。DuplexAgent-RSI 给出的答案是：先让协作过程可观察、可诊断、可验证，再让系统根据一次次真实失败逐步变得更会配合。

目前，DuplexAgent-RSI 的递归自进化主要作用于协作 Harness：交互模型的参数保持不变。 但这并不是终点。论文中构建的测试模拟器、带时间信息的交互场景，以及可验证的协作轨迹，天然具备进一步复用的潜力。

下一步，团队将把这些测试与轨迹用于 Agentic RL 智能体强化学习，让交互模型本身也能从全双工协作中的失败经验中学习，进一步提升对打断、停顿、轮次切换和复杂任务协作的理解能力。

届时，自进化将从 Harness 层延伸到模型层，形成更完整的全双工语音智能体递归改进闭环。相关实验与研究正在推进中，更多进展，后续与大家见面。