多项指标排名第一，全双工实时交互系统MOSS-Live发布

机器之心发布

还记得电影《Her》里的 Samantha 吗？

2013 年，导演斯派克・琼斯在这部电影里描绘了一个令人着迷的未来：一个没有实体的 AI 操作系统，却能像真人一样，和男主角 Theodore 谈天说地。

她会开玩笑，会主动开启话题，能觉察到男主的情绪和意图，也能自然地转换话头。更神奇的是，她不只会聊天，还能一边交流，一边处理邮件、整理日程，参与 Theodore 的日常生活。

十多年过去，我们似乎终于离这样的 AI 更近了一步。

过去几年，AI 语音技术的进步有目共睹。从语音识别（ASR）到语音合成（TTS），模型不仅能听懂人说了什么，还能生成越来越自然、富有表现力的声音。与 AI 进行一场语音交流，也早已不是什么新鲜事。

但如果真的把它当成 Samantha 来聊上几句，问题很快就暴露了，因为它总搞不清楚什么时候该说话，什么时候该闭嘴。

你还没说完，它可能就急着回答；你只是随口应了声「嗯」，它却以为你想打断；聊到一半让它帮忙查点东西，原本顺畅的对话又可能陷入等待。

说到底，AI 已经越来越像人在「说话」，却还不太擅长与人真正实时且自然地「对话」。

这背后不仅是语音识别和生成的问题，更涉及 AI 能否在持续交流中理解语义、判断对话节奏、管理上下文，并同时处理正在进行的任务。

就在今天，模思智能发布的全双工实时交互系统MOSS-Live，试图在这一方向上更进一步。

视频链接：https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg

MOSS-Live 能够在说话的同时持续倾听，根据语义理解判断什么时候该回应、什么时候该等待。即使中途多次打断、切换话题，它也能记住之前聊到哪里。

更进一步，MOSS-Live 还能通过实时视频与屏幕共享，结合画面理解对话场景；通过工具调用与后台异步执行，它又能在保持对话的同时，查询信息、规划行程、完成复杂任务，并在结果返回后主动反馈。系统还支持流式同声传译。

而从此次官方公布的 Benchmark 来看，MOSS-Live在多项实时语音交互指标上领先GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex 等实时语音系统。

目前，MOSS-Live 已开放在线体验与 API 接入，并提供限时免费的 API 使用机会。

• API 接入与体验：https://platform.moss.cn
• 模思智能官网：https://www.moss.cn

那么，MOSS-Live 究竟是如何做到的？让 AI 一边聊天、一边处理复杂任务，需要怎样的技术架构？在多人会议、车载、旅行、跨语言实时交流等真实场景中，MOSS-Live 的实际表现又如何？

01 如何实现真正的全双工？

要理解 MOSS-Live 的变化，首先需要弄清楚什么是全双工。

在通信领域，全双工意味着双方可以同时发送和接收信息。打电话时，两个人可以同时开口；使用传统对讲机，则通常需要轮流发言。如今不少语音 AI 的交互方式，仍然更接近后者。

系统可能会通过静音时长来机械地判断用户是否结束发言，再进行识别、理解和回复。用户说到一半停下来思考，AI 可能误以为一句话已经结束；用户在 AI 回答时随口附和，系统又可能将其当成打断指令。

而 MOSS-Live 想要实现的全双工，显然不只是让 AI 在说话时也能接收声音。真正的难点，是让系统理解这些声音在当前对话中究竟意味着什么。

MOSS-Live 需要持续结合语义和对话状态作出判断：什么时候该继续说，什么时候该保持沉默，什么时候应该接受打断，以及哪些声音不需要回应。

能自然地交流，只是问题的一半。有些对话可能涉及外部工具调用，或者多轮搜索与推理。如果 AI 必须等全部查询结束才能继续说话，原本顺畅的对话就容易陷入等待。但如果让它一边交流，一边执行任务，又该如何保证两者互不干扰？

MOSS-Live 给出的方案，是一套前后台协同架构。

其中，前台交互模型负责实时感知与对话。它持续接收语音、画面和环境声音，跟踪当前对话状态，决定何时倾听、回应、等待或接受打断。后台模型则负责复杂推理与长程任务执行。当用户提出需要更深度思考或长程复杂任务的请求时，前台可以将任务连同相关上下文交给后台异步处理，而不必暂停当前对话等待结果。前后台通过记忆、上下文和任务状态管理实现协同。

此外，MOSS-Live 还可以按照用户设定的规则，实现主动交互。例如，用户可以要求 AI 在背诵过程中发现错误时及时纠正，或者在会议讨论中留意特定事项，满足条件后主动提醒，而不必每次都等待明确指令。

02 多项全双工指标领先，MOSS-Live 的实际表现如何？

过去评价语音 AI，关注的指标往往是识别准确率、语音生成质量、响应速度，以及模型能否正确回答某个问题。

但当 AI 开始参与连续对话，这些指标显然还不够。实时语音交互系统需要面对一组新的评价维度：语义判停、打断处理、无关声音拒识、上下文恢复，以及任务执行过程中的响应效率与可靠性。

那么，MOSS-Live 在这些能力上的实际表现究竟如何？

模思智能公布了 MOSS-Live 与 GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex、Qwen Audio 3.0 Plus/Flash 等系统的对比评测，覆盖全双工交互、语音理解、多轮对话及工具调用等多个维度。

先看最直接影响对话体验的全双工能力。

在 FDB v1 测试中，MOSS-Live 的停顿抢话率（不含附和）为1.44%，大幅低于 GPT Realtime 2.1 的 3.83%、GPT-Live-1 的 10.37% 和 Doubao SeedDuplex 的 14.29%。

换句话说，当用户说话时出现正常停顿，MOSS-Live 更不容易误以为对方已经结束表达，从而提前接话。

而在 FDB v1.5 的无关语音误接话测试中，MOSS-Live 的误接话率仅为2.00%；同一测试中，其他参评系统的这一指标在 68% 至 88% 之间。MOSS-Live 的无关打断拒识率也达到 68%，在参评系统中最高。

类似的优势也出现在 τ-Voice 抗干扰测试中。

面对用户随口发出的附和声，MOSS-Live 的附和抗干扰率达到 98.17%；在口头禅和无关语音干扰测试中，其抗干扰率分别达到 82.16% 和 78.90%，均位列参评系统第一。

语音理解与多轮对话评测中，MOSS-Live 同样表现出一定的竞争力。

在 FDB v1 的上下文衔接测试中，其打断后回答质量获得4.88 分（满分 5 分），位列参评系统第一；在 FDB v2 的场景处理测试中，涉及实体跟踪、纠错与安全的综合得分为3.63 分（满分 5 分），同样取得最高成绩。

除此之外，工具调用也是衡量实时语音智能体能否真正「边聊边做事」的一项重要能力。

在 FDB v3 工具调用评测中，MOSS-Live 的成功率为 51%，和 Doubao SeedDuplex 并列最高，在 τ-Voice 的多轮任务评测中，MOSS-Live 的成功率为 57.93%，仅次于 GPT-Live-1。

从这些指标可以看出，实时语音 AI 的竞争已经不再局限于单次回答是否准确，而是开始延伸到整个对话过程能否保持自然、连续，以及任务能否可靠地完成。

那么，当这些能力被放进具体的生活和工作场景，又会带来怎样的体验？

03 当 AI 开始真正融入现实生活

为了更直观地展示 MOSS-Live 的交互能力，模思智能还发布了多个 Demo，涉及多人会议、车载助手、实时视频导览及跨语言沟通等场景。

先来看多人会议。在一场活动筹备会议中，MOSS-Live 以 AI 参会者的身份参与多人讨论。它不仅能区分旁人的随口附和与真正的打断，还会根据讨论进展，主动查询上海、杭州的天气及同期大型活动，在合适时机加入讨论，并在会议结束后整理结论与待办事项。从旁听、理解到主动提供信息，MOSS-Live 不再只是等待提问的语音助手，而是开始尝试参与多人协作。

视频链接：https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg

在另一段驾车场景演示中，用户让 MOSS-Live 规划一次舟山两日自驾游，中途又临时改变偏好，穿插询问船票、停车费用和住宿选择。MOSS-Live 一边根据新要求调整行程，一边在后台继续查询酒店。即使多次切换话题，它也能在用户要求时恢复此前的规划。开车途中多次响起的导航语音，并没有被误识别为用户指令。

视频链接：https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg

MOSS-Live 还可以通过视频通话、屏幕共享等方式，直接获取更多环境信息。在官方展示的另一段上海旅游 Demo 中，一名外国游客通过手机与 MOSS-Live 交流。AI 先根据游客所在位置，规划了一条经过外滩、南京路的游览路线。走到外滩时，游客举起手机，询问眼前的建筑是什么。MOSS-Live 结合实时画面识别出和平饭店，并开始介绍相关历史。当游客临时转而询问房价和餐饮信息时，它又能跟随新的需求进行查询，随后继续之前的建筑讲解。

视频链接：https://mp.weixin.qq.com/s/C_TiIuY7ufTQMA43iZZpTg

此外，MOSS-Live 还支持流式同声传译。系统可以在持续接收源语言语音的同时，实时输出目标语言，让跨语言交流不必总是等待对方完成整段表达，但其实际延迟表现仍会受到网络等因素影响。

当然，从演示走向大规模实际使用，仍需要进一步检验系统在复杂噪声、长时间连续交互、多人同时发言等情况下的稳定性。

回看近几年 AI 交互领域的发展，语音 AI 正在尝试转向能够持续参与交流、理解场景并执行任务的实时智能体。

对于开发者而言，这种变化也意味着下一代语音应用的开发方式可能发生改变。过去，开发者或许只需要将 ASR、大语言模型和 TTS 串联起来，就能搭建一个基本的语音问答系统。

但要让 AI 真正参与会议、承担实时助手的职责，或者在视频通话中持续执行任务，还需要处理打断、并发任务、上下文同步、多模态输入和执行状态管理等一系列问题。

目前，MOSS-Live 已开放在线体验与 API 接入，并提供限时免费的 API 使用机会。开发者可以进一步探索将其用于实时语音助手、会议协作、跨语言沟通以及多模态智能体等应用。

• API 接入与体验：https://platform.moss.cn
• 模思智能官网：https://www.moss.cn

值得注意的是，除了 MOSS-Live，模思智能近期也是动作不断。

10 月中旬，模思智能宣布完成超 10 亿元 Pre-A 轮融资，由华控基金领投。两周前，这家公司刚刚开源了 5B 参数的图像生成模型MOSS-Image，重点探索更准确的文字渲染和 Layout 布局控制，在海内外开发者和 AI 创作者社区爆火，Hugging Face 模型下载量突破 300 万；其新一代 MOSS-TTS 2.0 也已进入 Preview 内测阶段，即将正式上线，进一步探索声音克隆、情绪控制等能力，面向更自然、更具表现力、更可控的语音生成。

一方面关注图像如何生成与控制，另一方面探索声音如何更加自然地表达，而 MOSS-Live 则将让 AI 在真实环境中持续感知、交流与行动。虽然它们分别面向不同的任务，但放在一起，也能看到模思智能正在围绕视觉、语音与实时交互，逐步拓展自己的多模态模型能力，推进全模态实时交互智能的研发与能力建设。

放眼整个行业，这或许也是下一阶段 AI 发展值得关注的方向：当单一模态的生成与理解能力不断成熟，如何让这些能力进一步协同，支撑起自然、连贯、聊天和执行任务两不误的智能交互，将成为下一个阶段的重点。