ICML 2026 | AVTrack：复杂人类中心场景的音视频追踪基准

想象一下这个场景：一场多人线上会议，有人说话时画面自动聚焦到发言者；一段综艺素材，后期系统能自动识别谁在讲话并生成字幕；一段监控录像，系统能在人群中持续追踪正在说话的那个人。

这些功能背后依赖的是同一项技术——音视频说话人追踪(Audio-Visual Speaker Tracking)。它让机器同时利用听到的声音和看到的画面，定位并持续追踪正在发声的人。

过去几年，音视频分割(Audio-Visual Segmentation, AVS)音视频实例分割(Audio-Visual Instance Segmentation, AVIS)任务受到广泛关注，并取得了显著进展。尽管如此，一个基础问题仍未被充分回答：当场景真正变得动态、拥挤且不连续时，现有模型的音频—视觉对应与长期身份关联能力究竟如何？

为此，复旦大学 CVL 实验室提出了AVTrack，一个面向复杂人类中心场景的音视频追踪基准。论文 AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes已被 ICML 2026 接收，项目主页、论文、代码与数据集现已公开。

论文题目：
AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes
论文链接：
https://arxiv.org/abs/2606.02724
代码链接：
https://github.com/FudanCVL/AVTrack
项目主页：
https://fudancvl.github.io/AVTrack/
数据集：
https://huggingface.co/datasets/FudanCVL/AVTrack

一、不只是“找到说话的人”

音视频追踪的目标很直观：给定一段带声音的视频，不仅要判断谁正在说话，还要在视频持续变化以及多个发声片段之间保持稳定的实例身份。

这听起来似乎并不困难——毕竟日常使用的视频会议软件已经能够完成基本的说话人检测。但一旦进入真实、复杂的视频场景，问题就会迅速变得棘手：人物可能相互遮挡、频繁移动和交替发声，镜头也可能不断切换，甚至还会出现画外音等音视频不一致的情况。

AVTrack 正是面向这类复杂场景提出的音视频实例分割基准。它要求模型联合理解声音和画面，为每个正在发声的人生成像素级掩码，同时在视频持续变化的过程中保持稳定的实例身份。模型不仅要知道“声音来自谁”，还要始终知道“这个人是谁、在哪里”。

在这个任务中，模型需要同时回答三个问题：

• 谁在发声？ 即从音频中判断当前活跃的说话者；

• 人在哪里？ 即在每一帧中以像素级精度分割对应人物；

• 前后还是同一个人吗？ 即使人物被遮挡、镜头切换或位置互换，也要维持跨帧身份一致性。

第三个问题尤其关键。只依靠某一帧中的外观或嘴部运动，模型可能暂时找到说话者；但要在长视频中持续保持正确身份，还必须处理视觉遮挡、多人轮流发声和音画不一致等情况。

二、现有评测基准漏掉了什么？

早期音视频说话人跟踪数据集大多来自受控实验室，人物较少，摄像机和麦克风位置也相对固定。在这些简单场景中，模型甚至不需要真正理解时序动态和跨模态推理，只靠声音和画面同时出现这种静态关联就能取得不错的成绩。但这并不能说明模型在复杂动态场景中也能工作。后续音视频分割基准虽然引入了像素级标注和更自然的视频来源，但许多样本仍是 5–10 秒的短片，难以充分检验长期时序建模。

AVISeg数据集将视频长度扩展到平均约 60 秒，并提供实例级分割与跟踪标注。但镜头运动、遮挡、背景切换和相对位置变化仍覆盖有限。

这会带来一个评测盲点：模型可能在相对静态的视频中取得不错的结果，却仍然依赖短时的音视频共现关系。一旦人物消失后重现、镜头发生切换，或声音与画面中最显眼的人并不一致，模型是否真正维持了跨模态对应关系，已有评测基准很难完整回答。

三、用 8 类挑战构造系统性压力测试

AVTrack 包含 871 段视频，平均时长 54.0 秒，共提供 3,120 条带跨帧身份的像素级实例轨迹。数据覆盖剧集、vlog、动画、真人秀、访谈和舞台表演六类来源。与常规训练集不同，AVTrack 被设计为 纯测试基准：作为独立测试集，AVTrack观察模型能否迁移到复杂的人类中心场景。

为系统分析复杂场景中的关键困难，AVTrack进一步将其划分为 8 类可诊断挑战：视觉遮挡、相对位置变化、背景切换、相机运动变化、多实例、多轮发声、音视频不一致和实例尺度动态变化。

1. 视觉遮挡(Visual Occlusion)：发声者被其他人物或物体部分遮挡，造成实例重叠和视觉边界模糊，增加持续定位与身份保持的难度。该属性覆盖 AVTrack 80.9% 的样本，而 AVISeg 中仅为 8.6%。

2. 相对位置变化(Relative Position Change)：多个实例之间的相对空间关系随时间发生变化，例如发声者从另一人物左侧移动至右侧。此类场景要求模型持续追踪实例身份，而非依赖静态空间位置。AVTrack 中该属性占 70.7%，AVISeg 中仅为 9.7%。

3. 背景切换(Background Switch)：视频中出现显著场景或背景变化，例如由室内切换至室外，从而削弱基于背景和视觉上下文的时序连续性。该属性在 AVTrack 和 AVISeg 中分别占 60.5% 和 5.9%。

4. 相机运动变化(Camera Motion Change)：相机视角发生显著变化，包括推拉、摇移、视角变化或镜头切换，使目标的尺度、视角和可见区域持续改变。这是 AVTrack 中最常见的挑战，覆盖 90.5% 的样本，而 AVISeg 中仅为 7.1%。

5. 多实例(Multiple Instances)：画面中同时存在多个候选人物，但仅部分实例正在发声，使模型需要在多个视觉实例之间建立正确的音视频对应关系。AVTrack 中该属性占 64.9%，AVISeg 中仅为 13.6%。

6. 多轮发声(Multi-turn Sounding)：不同人物随时间交替发声，使活跃发声者及其音视频对应关系不断切换，要求模型动态更新目标身份。该属性覆盖 AVTrack 56.8% 的样本，而 AVISeg 中为 16.0%。

7. 音视频不一致(Audio-Visual Inconsistency)：音频与当前可见人物之间不存在直接的一一对应关系，例如旁白、画外音或发声者暂时位于画面之外。AVTrack 中约 9.2% 的样本包含此类情况。

8. 实例尺度动态变化(Instance Scale Dynamics)：目标实例在视频中呈现显著的尺度差异或随时间发生大幅尺度变化，对小目标感知和跨尺度持续追踪提出更高要求。该属性在 AVTrack 中占 56.9%，AVISeg 中为 35.3%。

这些属性不仅刻画了数据集的场景复杂度，也能够进一步用于分析模型的具体失效模式。AVTrack 在动态视觉变化方面显著更具挑战性：90.5% 的视频包含相机运动变化，80.9%的视频包含视觉遮挡，70.7% 包含相对位置变化，远高于 AVISeg 对应的 7.1%、8.6% 和 9.7%。与此同时，AVTrack 还显式覆盖音视频不一致等传统音视频分割数据较少涉及的场景，使评测能够进一步检验模型在复杂时序变化和非理想音视频对应条件下的鲁棒性。

为了获得可靠的像素级与跨帧标注，标注人员先从约 1,300 段公开视频中筛选候选样本，利用 Grounded-SAM 进行自动预标注，再由标注人员逐帧修正并检查时序身份。整个数据收集、标注和验证过程持续近三个月，共有 15 名专业标注人员参与。

四、现有方法在复杂场景中的表现？

研究团队在统一设置下评估了代表性的视频实例分割(Video Instance Segmentation，VIS)和音视频实例分割方法。VIS方法先在YouTube-VIS上预训练，再在 AVISeg上微调；AVIS方法则在AVISeg上训练，最终都直接在AVTrack上测试。

结果显示，只使用视觉信息的 VITA、LBVQ 和 CAVIS 在 AVTrack 上的 HOTA测试指标均低于 12。加入音频信息辅助后，AVISM 和 ACVIS 分别达到 20.84 和 20.60，说明音频确实带来了明显帮助，但长期身份关联仍然困难。

研究团队还提供了两个互补的基线方法：一个是端到端的 AVTrackFormer，在HOTA测试指标上取得 21.47；另一个是无需训练的模块化模型AVTracker，在HOTA测试指标上取得 29.08。与已有 AVIS 方法中表现最好的 AVISM 相比，AVTracker 提升了 8.24 (29.08 vs. 20.84)；与更强的端到端基线模型AVTrackFormer 相比，AVTracker提升了 7.61(29.08 vs. 21.47)。

研究团队也测试了 Gemini 2.5 Pro 的零样本表现：直接输入 1 FPS 的视频帧和原始音频后，其HOTA 指标为 14.4。这一结果表明，通用 Omni-LLM 的广泛音视理解能力尚不能直接转化为复杂场景下稳定的像素级说话人跟踪能力。

五、AVTracker：

先做局部对应，再恢复全局身份

AVTracker 的核心思路是将长视频中的复杂关联问题拆成三个阶段。

首先，系统使用 Whisper 获取带时间戳的语音片段，并基于 ECAPA-TDNN speaker embedding 合并相邻且属于同一说话者的片段，形成更紧凑的 说话人片段。随后，在每个局部时间窗口内，SAM3 提供人物候选掩码，Local Reasoner 联合语音转写和视觉观测，将当前语音片段对应到可见人物并形成局部短轨迹。最后，Global Reasoner 汇总各个局部轨迹的关键帧，在整段视频上完成身份分组，恢复连续的说话人轨迹。

消融实验进一步验证了这种局部到整体设计的有效性。在相同的模型设置下，移除局部片段压缩后，HOTA 从 24.01 降至 16.88；在完整模型上关闭动态窗口机制后，HOTA 也从 28.85 降至 27.45。语音分离并非总能带来性能提升：采用 MossFormer2 时，HOTA 从 28.85 提升至 29.08，而采用 SepFormer 时反而下降至 28.41，说明语音分离产生的误差可能会进一步传播至后续的音视频对齐过程。

六、更高精度并不等于问题已经解决

从各细分类别来看，音视频不一致仍是所有方法面临的最困难场景，AVTracker 的 HOTA 也仅为 18.5。此外，在视觉遮挡和多实例场景中，当距离较近的说话人受到遮挡并频繁交替发声时，全局推理器仍可能错误地合并不同身份，或将同一身份拆分为多个轨迹。这些失效模式表明，长期记忆、跨窗口证据累积以及可修正的身份推理机制仍值得进一步研究。

AVTracker 也并非一个面向轻量化部署的方案。其参数量约为 9.4B，推理吞吐率约为 0.21 FPS。根据论文估算，其单帧计算量约为端到端基线方法的 60 倍，其中 Qwen3-VL 占据了主要计算开销。因此， AVTracker 更倾向于被视为一种用于探索性能上限和结构化推理范式的参考基线，而非复杂音视频跟踪问题已经被解决的证据。

AVTrack 同样存在明确的适用边界：当前版本仅关注以人为中心的场景，并以仅用于测试的评测基准形式发布。后续工作将进一步研究音视频不一致、实例尺度动态变化等困难场景，同时探索记忆增强跟踪、基于反思的错误修正机制，以及更加高效的数据与模型设计。

七、展望

AVTrack 仅作为音视频追踪基准发布，用于分析复杂音视场景中的模型能力与局限。也期待未来它能帮助社区更准确地回答一个基础问题：模型究竟是在静态画面中找到了“看起来像说话者的人”，还是已经学会在动态世界里持续理解“谁在何时、何处发声”。

Illustration From IconScout By IconScout Store

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈