复旦邱锡鹏团队获超 10 亿融资，成立两年，让模型感知、理解、响应变化的世界

大模型融资还在继续，新的押注转向了能边听、边看、边说的 AI。

作者｜Li Yuan

编辑｜郑玄

想象这样一个家庭场景。

孩子正在玩玩具，突然，厨房里「哐」的一声，玻璃碎了，紧接着传来孩子的声音：「不是我。」语速很快，尾音压得很低，有点紧张。两秒后，一只猫从厨房门口窜出来，钻进了沙发底下。

今天的模型，能分别识别这些信息。转写模型能记下孩子的话，音频模型能听出是玻璃碎裂，视觉模型能认出那只猫。但把这些能力叠在一起，模型仍然不知道刚才发生了什么。

那声脆响是从哪个方向来的？碎玻璃、那句急着撇清的「不是我」、逃窜的猫，是不是同一件事？厨房地上有没有碎片，孩子是不是正光着脚站在旁边？AI 需要把声音、画面、人物和前后发生的事情联系起来，在信息还不完整时作出判断，必要时继续观察或向人确认。

但这比识别一行命令、一段语音、一帧画面复杂得多。

过去几年，大模型越来越擅长处理被写进文档、代码和 Prompt 的世界。但这份能力有一个前提：有人先理解现实，再把它整理成模型读得懂的输入，模型随后完成推理和回答。进入真实世界以后，这两件事需要同时发生——模型既要持续理解一个仍在变化的现场，也要在现场继续发生时迅速回应，并根据新情况随时调整。

10 月 12 日，模思智能宣布完成超 10 亿元 Pre-A 轮融资，由华控基金领投，主要投资方包括国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等，元禾控股、上海国投旗下上海科创集团、星连资本等老股东持续投资。这轮融资距离天使轮官宣只隔了半年左右。

这家由复旦大学特聘教授、上海创智学院副院长邱锡鹏教授创立、成立不到两年的公司，瞄准的正是这里，公司将其定义为构建情境智能。

「我对下一代 AI 的一个判断是，它会从回答问题走向持续在场。模型不只是等人输入，而是要持续理解人和环境，在合适的时候回应、行动。我们现在做全模态实时交互，就是在解决这件事。」邱锡鹏表示。

模思从声音开始，逐步拓展至视觉理解、音视频生成和实时交互。据公司披露，2026 年以来，它围绕语音、视觉和实时多模态连续发布了 20 多个模型，其中包括多个开源模型。其中 7 月开源的 MOSS-VL-Realtime 已经能持续接收视频流，画面一变，判断就跟着更新。

过去几年，大模型越来越擅长回答一个已经提出的问题；接下来，或许更它还要学会理解一个仍在变化的现场。

01

一个为自己造的模型，意外走到了前排

模思智能孵化自复旦大学邱锡鹏带领的 OpenMOSS 团队。这是国内最早的大模型团队之一。2023 年 2 月，ChatGPT 刚刚把大模型推到聚光灯下，邱锡鹏团队便发布了 MOSS，这是国内最早开源的类 ChatGPT 对话模型之一。

同年，团队开始探索多模态领域，2023 年，团队推出 SpeechGPT，尝试让模型直接理解和生成语音。2024 年，AnyGPT 又在探索如何完成统一的多模态大模型；2024 年 11 月，模思智能从 OpenMOSS 团队中孵化成立，开始用商业化的方式继续这场模型探索。

模思智能 CEO 李世民最初以学生身份加入邱锡鹏实验室，也是 SpeechGPT 的早期作者之一。极客公园造访模思位于上海的办公室时，这家公司仍保留着浓厚的 frontier lab 气质：全职员工一百多人，算法和研发人员占七到八成，00 后是团队的重要组成部分。

模思智能 CEO 李世民 ｜ 图片来源：模思

模思智能从成立之初想做的，就是下一代 AI：当模型进入汽车、智能硬件和机器人等真实终端，AI 要如何理解不断变化的现场，又该如何与物理世界实时交互。

当时，团队选择的第一个切口，是多人对话语音生成。

他们想做的 MOSS-TTSD，不是逐句合成声音，而是一次生成一段由两三个人参与、你来我往的完整播客。如果用普通 TTS 一句一句生成再拼接，对话里的气口、停顿、接话乃至抢话的节奏都会丢失。模思选择端到端生成，希望把一段对话完整的上下文和交叠节奏保留下来。

但要训练这样的模型，团队首先需要把大量真实对话拆解清楚：谁在什么时候说了什么，两个人何时接话，哪些声音发生了重叠。

这件事交给人并不难，模思却想尝试让模型来进行标注。结果却并不如意。

当时的常见方案是把语音识别和说话人分割交给不同模型，再沿着时间轴把结果拼回去。一旦录音变长，或者遇到多人插话、声音重叠，系统就容易把一句话安到错误的人头上。

「因为市面上没有满足要求的模型，我们就立项自研了。」李世民说。

2026 年 1 月，MOSS-Transcribe-Diarize 第一版正式发布。

在他看来，模型之所以能够较早做到这一点，首先来自对问题的重新定义，MOSS-Transcribe-Diarize 没有采取时间轴拼贴的方式，是当时首个能够在一次调用中，同时完成语音转写、说话人归属和时间戳预测的模型。

另一个原因是数据。团队使用了大量来自复杂场景的对话音频，再通过数据工程完成清洗、标注和训练。这让模型面对长录音、多人插话和声音重叠时，不只是在干净音频上识别文字，而是直接学习「谁在什么时候说了什么」。

这个为了训练另一个模型而造出的工具，效果超出了团队最初的预期。李世民说，它很快达到了行业头部水平。

2026 年 1 月，团队公开了 MOSS-Transcribe-Diarize 的技术报告。7 月 9 日，0.9B 参数版本正式开源，支持超过 50 种语言。五天后，它在 INTERSPEECH 2026 第二届 MLC-SLM Challenge 中获得第一名，比赛覆盖 14 种语言，共吸引 110 支队伍报名。

更让团队意外的是，需求也跟着找上门来。

有模型团队用它为训练数据做标注，也有企业把它用在客服、会议记录等对话场景里，其中不乏头部互联网公司的团队。

「这让我们意识到，模型能力的突破会自发激发出新的业务场景。」李世民说。

02

模型开始替模型工作

MOSS-Transcribe-Diarize 并不是一个孤例。

模型不只是交付给用户的产品，也可以成为生产下一个模型的工具。这逐渐变成模思反复使用的一种研发方式：遇到现有模型解决不了的问题，就自己造一个，并把这个单点问题做深。模型做出来后，一边进入外部场景，接住真实需求；一边回到内部，成为其他模型的数据来源、标注工具或评测手段。

沿着同样的方式，模思陆续做出了更多模型。转写解决的是「谁在什么时候说了什么」；MOSS-Audio 继续追问「这句话是怎么说的」，让模型识别语速、情绪、性别、言语卡顿和环境声音；MOSS-TTS 负责把文字重新变成可控的声音；到了视觉一侧，MOSS-VL 和 MOSS-VL-Realtime 又开始处理图像和持续进入的视频流。

MOSS 多模态模型矩阵 ｜ 图片来源：模思

在模思的办公室里，这些分工并不抽象。

产品负责人输入一段高铁广播词，回车刚刚敲下去，MOSS-TTS 生成的声音便开始播放。它不需要用户先上传一段参考录音，只要输入「一个年纪稍大的中年男性声音」，就能从文字描述中生成对应音色。

另一边，当接受这些录音的时候，用户可以直接问 MOSS-Audio：这个人说得快不快，带着什么情绪，是否出现了言语卡顿。传统转写会把这些信息丢掉，它试图把声音中没有被写成文字的部分重新捞回来。

而除此之外，模思表示，这些模型之间，正在彼此喂养。

一个理解模型可以为生成模型清洗和标注数据；生成模型造出新的语音、图像和视频，又可以交给理解模型筛选。标注过程中暴露出来的错误，会成为理解模型下一轮训练的材料；产品和客户返回的真实数据，则继续补上实验室数据没有覆盖的场景。

这里的标注不指给数据贴上几个简单标签。训练一个更可控的 TTS，模型需要知道一段声音里哪里在笑、哪里在哭，语气如何变化，韵律在哪里转折；训练视频生成模型，则需要把镜头运动、分镜、光影、人物动作和画面布局拆解出来。通用大模型可以给出大致描述，却未必能稳定产出这些细密、结构化，又能够直接用于训练的数据。

模思因此倾向于使用自己训练的理解模型，再把它们接入数据生产管线。

团队在采访中举了一个例子。

在音视频综合理解中，模型不仅要听懂说了什么，还要判断是谁在说话，以及声音与画面之间有怎样的联系。如果将音频和视觉信号分开处理，模型就可能在对应两者时出现偏差。

模思将自己训练的音视频理解模型接入这一环节，让同一个模型同时理解声音和画面，结合两种信号判断内容，减少信息割裂带来的误判和幻觉，为后续模型训练提供更可靠的数据。

一位模思的投资人表示，这正是他们选择投资模思的关键原因之一：模思已经建立了一个模型帮助模型、模型校验模型的循环。模思把这套方式称为 AI for AI。

不同模型掌握着同一份数据的不同侧面，也可以拿各自的结果交叉印证。语音模型判断谁在说话，视觉模型判断画面里谁在动嘴，文本模型再检查内容和上下文是否一致。模型越多，未必意味着系统越散；如果它们能够彼此检查，反而可能更快暴露错误、筛掉低质量数据。

这套循环直接指向研发速度。

2026 年 4 月 7 日到 13 日的一周内，模思围绕 MOSS-VL 和 MOSS-Audio 连续迭代了 6 个版本。7 月初，团队又连续两天开源了 MOSS-Transcribe-Diarize 0.9B 和实时视频理解模型 MOSS-VL-Realtime。

对一家初创公司来说，这套方式还有更现实的意义。复杂音视频如果依靠人工逐条描述，不仅很难扩展，速度也极其缓慢；如果全量调用商业闭源模型，成本又很快变得难以承受。模思因此用自研的轻量级理解模型承担大部分标注，再在关键节点加入人工精标和修正。

团队称，在一些具体任务上，这套管线不仅成本更低，结果也比直接调用通用模型更准确。原因是他们可以针对说话人对应、密集 OCR 等问题加入专门模型，再通过校验和过滤不断修正结果。

用更少的人、更低的成本生产更细的数据，再把这些数据更快送回训练，才是模思所谓 AI for AI 最直接的价值。

03

Omni model，还没有走到终点

到现在，模思手里已经有了一组分工明确的模型：MOSS-Transcribe-Diarize 负责判断谁在什么时候说了什么，MOSS-Audio 继续识别语速、情绪和环境声音，MOSS-VL-Realtime 持续接收正在变化的视频流，MOSS-TTS 再把模型的理解变成声音。

听、看、说的零件逐渐齐了，接下来的问题是，怎样让它们像同一个模型一样工作。

行业已经把一种答案推到了台前：Omni model。

从 GPT-4o、Gemini 到 Qwen-Omni，越来越多模型开始同时接收文字、声音、图像和视频，再用文字或语音给出回答。模型不再只读 Prompt，而是逐渐获得了直接感知现实的入口。

但在模思看来，Omni model 还没有走到终点。

今天的多模态模型可以处理越来越丰富的输入，却仍然大多遵循一套熟悉的回合：用户说完，模型开始思考，随后再给出回答。输入的模态变多了，模型与世界相处的方式却没有发生根本改变。在模型说话的过程中，新进入的声音和画面很难实时回到思考过程。如果现场发生变化，系统通常需要从外部先打断输出，再重新组织一次输入和回答。

更深一层的问题是，这样的模型没有真正学到时间。

它可以理解一段声音表达了什么，却很难自己判断什么时候应该接话、什么时候应该停顿，用户插话后是否该让出话语权；当新的画面推翻了之前的判断，它也无法像人一样在说到一半时自然改口。

这正是模思想改变的地方。

它的思路不是让「听」「想」「说」依次发生，而是把听、看、说放在同一条时间轴上。声音和画面持续进入，模型也持续判断：这一刻应该继续听、开始说、先停一下，还是修改正在生成的回答。

全双工让 AI 能够一边听、一边说，即使在回答过程中，也能接收新的信息，随时调整回应。而当视觉、语音和环境信息被持续纳入这一过程，AI 才有可能真正跟上一个不断变化的现场。

这套思路已经在 MOSS-VL-Realtime 中有所体现。普通视觉模型通常要等用户上传一张图片或一段完整视频，再开始分析；MOSS-VL-Realtime 则持续接收视频流，边看边更新判断。画面里出现新的人或动作，模型不必等视频结束，就能把新信息纳入理解。

但要让听、看、说同时发生，模思还要处理另一组矛盾：如何保住声音和画面里的信息，又不因此牺牲模型的智力。

模思团队在研发中发现，如果将连续的音频表征一路带进生成侧，有时会损害语言模型原有的逻辑和推理能力。理解与生成放进同一个模型，也可能相互干扰。

团队因此形成了一个阶段性的选择：让声音和画面原样进来，让思考留在文字里。

在输入和理解一侧，模型直接接收声音、图像和视频，尽可能保住语气、情绪、环境与动作；进入核心推理环节后，再使用文本 token 思考，并输出高度可控的结构化信息，驱动下游的语音生成、工具调用和设备行动。

模思即将发布发布的一套实时交互系统 MOSS Live，架构即是交互模型留在前台，持续听、看和理解现场；能动性模型则在后台处理复杂推理、工具调用和任务执行。

比如未来将这套系统，如果能够装进视障人士的眼镜，交互模型可以持续描述眼前正在发生的变化：前方出现台阶，一辆自行车正在靠近，原本畅通的路被临时围挡。与此同时，用户可以让它在后台重新规划路线、查询公交，或者联系家人。任务执行期间，前台不会停下来等待，仍然可以继续观察道路并给出提醒；等新的路线规划完成，再把结果自然地带回当前对话。

这套分工是模思走向统一模型之前的过渡形态。模思表示，最终目标仍然是全模态统一模型。

过去几年的大模型竞争，主要发生在被人整理过的世界里。而 Omni model 下一阶段可能产生的价值则是让模型获得理解「情境」的能力：把声音、画面、动作和时间关系重新拼成一个正在发展的现场。

这条路线仍有大量问题没有回答。模思仍然需要解决连续音频表征可能损害推理能力、不同任务相互干扰等问题。

当大多数模型公司还在聚焦文本推理和 Coding 时，模思已经提前布局语音、多模态和实时交互。Omni model 的竞争才刚刚开始，这些提前的积累或许正是模思的机会。

*头图来源：电影《Her》截图

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO

极客一问

你期待 AI 具备持续在场、

实时感知现实的能力吗？