网易首页 > 网易号 > 正文 申请入驻

证据摊开看,场景图画清:让流式视频大模型拿捏「何时开口」

0
分享至



随着多模态技术和大语言模型的发展,人类与 AI 的交互关系正在从「命令 - 执行」走向真正的共生。AI 将不再只是等待人类指令再执行的工具,而是与人类共处同一时空的主动智能体。

它们像人类一样持续地感知动态环境,基于环境理解和内部目标,主动向他人发起交互(例如主动提醒「杯子要掉了」或在关键时刻主动询问「需要帮助吗」)。

同时,视觉作为现实世界最丰富、最自然的感知媒介,是主动智能体理解外部环境的核心窗口。在这种持续的外部感知和响应判断下,视频的输入特征从「离线转为在线」。

换言之,智能体所承载的视频大模型(Video-LLM),不再是整段看完再作答的离线推理系统,而应像人类一样边看边判断:在响应条件不足时保持克制,在关键证据出现时果断响应交互。

因此,在这种流式主动交互场景下,视频大模型真正棘手的,不只是「能不能看懂某一帧」,还有「该不该在这一秒开口」。然而,要把「证据是否足够」做成稳定、可泛化的决策,现有方法往往仍把视觉证据与问题语义中的响应条件藏在隐式表征里,难以做到精细对齐和对「响应时机」的深刻理解。

为了解决这一痛点,来自西北工业大学、香港科技大学、清华大学等的研究团队在 ACL 2026 上提出了一种基于证据 - 条件结构化对齐的流式视频理解主动交互框架。该方法以显式场景图(Scene Graph)为统一表示,把流式观测到的「视觉证据」与用户查询所蕴含的「响应条件」进行显式建模,并结合记忆检索与触发式提示,在无需微调的方式下完成流式「静默 / 响应」决策。



  • 论文标题:Response-G1: Explicit Scene Graph Modeling for Proactive Streaming Video Understanding
  • 论文链接:https://arxiv.org/abs/2605.07575
  • 代码仓库:https://github.com/kadmkbl/Response-G1

主动流式交互的裂缝:当证据与条件被「藏」在隐式表征里

流式主动交互的关键难点并不只在于内容生成,还在于每一时间步都要思考一个底层的问题:当前累积的视觉证据,是否已经满足用户问题所隐含的响应条件?

一旦这个判断依赖隐式的证据 - 条件理解,模型就很容易在「相似帧」之间摇摆:视觉上几乎一样,但「该不该说」的标签却可能相反。这也是许多需要帧级标注的训练路线的方法难以泛化的根源之一。

而在无需微调的路线中,帧间差异阈值等基于规则的方法实现简单,却容易把「画面变化」误当成「语义条件满足」,从而忽略用户响应需求。另一方面,基于触发提示的方法(直接询问大模型是否在当前时刻响应)虽能更加理解响应需求,但现有工作仍未显式地构建证据与条件,对响应时机的理解缺少可核对的中间结构。

Response-G1 的切入点因此非常直接:用户问题中的响应条件往往对应一个由物体、属性与关系构成的结构化期望场景,场景图为此提供了显式的证据对齐方式,让「证据是否足够」不再依赖隐式表征,而转由可解释的中间结构进行逐项核对。



图 1. 流式视频理解中的主动机制对比

Response-G1 总览:把「时机判断」变成可解释的图对齐问题

Response-G1 将流程组织为三个彼此衔接、且都可视为「推理增强」的模块:在线查询引导的场景图生成(流式证据建模)、基于动态记忆库的场景图检索(证据 - 条件对齐),以及检索增强的流式触发决策(主动交互决策)。

框架不改变骨干视频大模型的训练目标与参数更新方式,主要通过结构化中间表示与检索上下文,把模型的「响应判断」从黑箱里往外拽半步。

  • 在线查询引导的场景图生成:对以当前时刻为中心的流式视频片段,模型输出场景图节点(物体及其属性)与边(关系谓词),并以三元组集合形式表示。为抑制与问题无关的细节,生成提示中注入用户查询,使视频大模型优先抽取与问题相关的子结构,从而得到查询敏感、证据聚焦的图表示。



  • 基于记忆的场景图检索:为实现细粒度的「证据 - 条件」匹配对齐,框架维护随时间增长的记忆库,存储历史时刻生成的场景图。检索时,将各图的三元组线性化为自然语言短语并拼接,同时对用户查询解析得到响应条件图及其文本表示;二者经同一文本编码器嵌入后做均值池化,以余弦相似度衡量语义相关性,并取 Top-K 子图作为对齐证据上下文。



  • 检索增强的流式触发与回答:在每一需要决策的时间步,模型输入由视频帧嵌入、带时间戳前缀的检索场景图编码以及触发指令(例如「现在是否应该回答?仅回答 Yes/No」)共同构成。若判定为静默,则继续累积观测;若判定为响应,则在与交互决策一致的上下文中拼接原始问题,生成最终自然语言响应。





图 2. Response-G1 框架概览

实验结果:主动式大幅领先,被动式同步受益

研究团队在主流流式视频理解基准 OVO-Bench 与 StreamingBench 上开展评估,并区分主动式(模型自主决定响应时刻)与被动式(响应时刻与提问时刻一致)子任务。实现上采用 Qwen3-VL-8B 作为模型骨干,并遵循既有工作对输入分辨率与帧采样策略的设置。

实验结果显示,在主动式子任务方面,Response-G1 在开源流式视频大模型上提升显著:在 OVO-Bench 上,Response-G1 提升了12.8%;在 StreamingBench 的 PO 子任务上,提升达15.1%。在被动式子任务方面,Response-G1 也形成稳定增益。

这表明,显式场景图不仅改善「何时说」,而且在有时空推理需求的用户问题上,也有助于「说得准」。



表 1. OVO-Bench 上的性能对比(主动式子任务为 Forward Active Responding;其余子任务为被动式设定)



表 2. StreamingBench 上的性能对比(主动式子任务为 PO;其余子任务为被动式设定)

消融与流式主动交互案例

消融实验表明:(1)引入基于场景图的检索增强可同步提升主动式与被动式流式视频理解的表现,而引入时间戳的场景图编码一定程度地提升了模型的证据理解。(2)在流式视频的场景图证据在线生成阶段,「查询引导」优于「目标引导」策略,后者可能诱发模型生成不存在的场景图三元组证据并导致过早响应问题。



表 3. 消融实验(左:不同检索增强策略的有效性;右:不同证据生成引导策略的有效性)

可视化案例展示了一个需要等待证据线索逐步显露的流式视频主动交互场景(用户提问:「一个穿着红色 T 恤的男孩在离开后做了什么事情?」)。

结果表明,在时间「18:51」处,Response-G1 准确检索到与查询相关的场景图(即证据)并触发响应,而基线方法在整个视频流中均始终未能作出响应。



图 3. 流式视频主动式交互可视化案例

结语

该研究的意义在于:它把主动交互流式视频理解里难以捉摸的「时机」问题,通过显式的统一的图表示,转写为更可解释、可调试的「证据 - 条件对齐」问题。

在视频大模型逐步走向真实在线、主动交互的当下,这种结构化中间表示或许能为后续的多模态全能助手、长流式记忆与更复杂的人机协同,提供一个更可组合的底座。

作者介绍

本文作者马可(https://kadmkbl.github.io)、唐家祺(https://jqt.me),分别来自西北工业大学和香港科技大学的博士研究生,研究方向为多模态大模型与智能体。

通讯作者是西北工业大学的郭斌教授(http://guob.org),长期从事普适计算、群智感知、具身智能及智能物联网等领域的研究。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“能把屁股擦干净吗!”陕西妇科医护者吐槽阴超经历:我老公都不让我和面了

“能把屁股擦干净吗!”陕西妇科医护者吐槽阴超经历:我老公都不让我和面了

妍妍教育日记
2026-10-30 19:25:27
曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

烈史
2026-11-17 06:38:27
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
九号公司高禄峰出席2026年APEC工商领导人峰会

九号公司高禄峰出席2026年APEC工商领导人峰会

中国新闻周刊
2026-11-19 12:22:04
中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

解说阿洎
2026-11-13 08:23:20
以色列又开始行动了!眼看美国不出手,内塔尼亚胡想到了欧洲

以色列又开始行动了!眼看美国不出手,内塔尼亚胡想到了欧洲

云上乌托邦
2026-11-19 12:16:32
到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

好爸育儿
2026-11-13 08:33:19
中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

揽星戈
2026-11-08 19:41:50
半场2中0!湖人54-56爵士,看数据:你就是头号罪人!

半场2中0!湖人54-56爵士,看数据:你就是头号罪人!

运筹帷幄的篮球
2026-11-19 12:18:21
惜败灰熊!米切尔空砍34+4,哈登14+6+9,梅里尔性价比不高了

惜败灰熊!米切尔空砍34+4,哈登14+6+9,梅里尔性价比不高了

体育火锅T
2026-11-19 11:58:35
哈登里程碑米神空砍34分,探花郎18+8+5+4,灰熊擒骑士终结8连败

哈登里程碑米神空砍34分,探花郎18+8+5+4,灰熊擒骑士终结8连败

钉钉陌上花开
2026-11-19 10:40:27
“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

蝴蝶花雨话教育
2026-11-14 00:05:16
《大西洋月刊》丨罗伯特·帕丁森成为新任007的真正原因

《大西洋月刊》丨罗伯特·帕丁森成为新任007的真正原因

邸报
2026-11-19 10:19:01
张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

张水华确认无缘上海马拉松!国内赛事对这位平民励志跑者态度大不同

杨华评论
2026-11-19 00:00:49
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
碾压伊萨克!利物浦锁定世界最佳中锋!伊劳拉酝酿史诗级截胡

碾压伊萨克!利物浦锁定世界最佳中锋!伊劳拉酝酿史诗级截胡

澜归序
2026-11-19 10:40:38
“一堆人去吃预制菜,也配叫研学吗?”一张700人研学的合照,气到了家长 ,怒道

“一堆人去吃预制菜,也配叫研学吗?”一张700人研学的合照,气到了家长 ,怒道

蝴蝶花雨话教育
2026-11-19 01:25:04
西方媒体:就算中国全力以赴,也不可能按时建成这么庞大的工程

西方媒体:就算中国全力以赴,也不可能按时建成这么庞大的工程

云霄纪史观
2026-10-23 01:47:07
砍4分4板3助1断!火箭队第4中锋再进轮换,申京退赛,他撑起内线

砍4分4板3助1断!火箭队第4中锋再进轮换,申京退赛,他撑起内线

熊哥爱篮球
2026-11-19 10:56:27
2026-11-19 13:07:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14510文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
家居
游戏
亲子
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版