网易首页 > 网易号 > 正文 申请入驻

证据摊开看,场景图画清:让流式视频大模型拿捏「何时开口」

0
分享至



随着多模态技术和大语言模型的发展,人类与 AI 的交互关系正在从「命令 - 执行」走向真正的共生。AI 将不再只是等待人类指令再执行的工具,而是与人类共处同一时空的主动智能体。

它们像人类一样持续地感知动态环境,基于环境理解和内部目标,主动向他人发起交互(例如主动提醒「杯子要掉了」或在关键时刻主动询问「需要帮助吗」)。

同时,视觉作为现实世界最丰富、最自然的感知媒介,是主动智能体理解外部环境的核心窗口。在这种持续的外部感知和响应判断下,视频的输入特征从「离线转为在线」。

换言之,智能体所承载的视频大模型(Video-LLM),不再是整段看完再作答的离线推理系统,而应像人类一样边看边判断:在响应条件不足时保持克制,在关键证据出现时果断响应交互。

因此,在这种流式主动交互场景下,视频大模型真正棘手的,不只是「能不能看懂某一帧」,还有「该不该在这一秒开口」。然而,要把「证据是否足够」做成稳定、可泛化的决策,现有方法往往仍把视觉证据与问题语义中的响应条件藏在隐式表征里,难以做到精细对齐和对「响应时机」的深刻理解。

为了解决这一痛点,来自西北工业大学、香港科技大学、清华大学等的研究团队在 ACL 2026 上提出了一种基于证据 - 条件结构化对齐的流式视频理解主动交互框架。该方法以显式场景图(Scene Graph)为统一表示,把流式观测到的「视觉证据」与用户查询所蕴含的「响应条件」进行显式建模,并结合记忆检索与触发式提示,在无需微调的方式下完成流式「静默 / 响应」决策。



  • 论文标题:Response-G1: Explicit Scene Graph Modeling for Proactive Streaming Video Understanding
  • 论文链接:https://arxiv.org/abs/2605.07575
  • 代码仓库:https://github.com/kadmkbl/Response-G1

主动流式交互的裂缝:当证据与条件被「藏」在隐式表征里

流式主动交互的关键难点并不只在于内容生成,还在于每一时间步都要思考一个底层的问题:当前累积的视觉证据,是否已经满足用户问题所隐含的响应条件?

一旦这个判断依赖隐式的证据 - 条件理解,模型就很容易在「相似帧」之间摇摆:视觉上几乎一样,但「该不该说」的标签却可能相反。这也是许多需要帧级标注的训练路线的方法难以泛化的根源之一。

而在无需微调的路线中,帧间差异阈值等基于规则的方法实现简单,却容易把「画面变化」误当成「语义条件满足」,从而忽略用户响应需求。另一方面,基于触发提示的方法(直接询问大模型是否在当前时刻响应)虽能更加理解响应需求,但现有工作仍未显式地构建证据与条件,对响应时机的理解缺少可核对的中间结构。

Response-G1 的切入点因此非常直接:用户问题中的响应条件往往对应一个由物体、属性与关系构成的结构化期望场景,场景图为此提供了显式的证据对齐方式,让「证据是否足够」不再依赖隐式表征,而转由可解释的中间结构进行逐项核对。



图 1. 流式视频理解中的主动机制对比

Response-G1 总览:把「时机判断」变成可解释的图对齐问题

Response-G1 将流程组织为三个彼此衔接、且都可视为「推理增强」的模块:在线查询引导的场景图生成(流式证据建模)、基于动态记忆库的场景图检索(证据 - 条件对齐),以及检索增强的流式触发决策(主动交互决策)。

框架不改变骨干视频大模型的训练目标与参数更新方式,主要通过结构化中间表示与检索上下文,把模型的「响应判断」从黑箱里往外拽半步。

  • 在线查询引导的场景图生成:对以当前时刻为中心的流式视频片段,模型输出场景图节点(物体及其属性)与边(关系谓词),并以三元组集合形式表示。为抑制与问题无关的细节,生成提示中注入用户查询,使视频大模型优先抽取与问题相关的子结构,从而得到查询敏感、证据聚焦的图表示。



  • 基于记忆的场景图检索:为实现细粒度的「证据 - 条件」匹配对齐,框架维护随时间增长的记忆库,存储历史时刻生成的场景图。检索时,将各图的三元组线性化为自然语言短语并拼接,同时对用户查询解析得到响应条件图及其文本表示;二者经同一文本编码器嵌入后做均值池化,以余弦相似度衡量语义相关性,并取 Top-K 子图作为对齐证据上下文。



  • 检索增强的流式触发与回答:在每一需要决策的时间步,模型输入由视频帧嵌入、带时间戳前缀的检索场景图编码以及触发指令(例如「现在是否应该回答?仅回答 Yes/No」)共同构成。若判定为静默,则继续累积观测;若判定为响应,则在与交互决策一致的上下文中拼接原始问题,生成最终自然语言响应。





图 2. Response-G1 框架概览

实验结果:主动式大幅领先,被动式同步受益

研究团队在主流流式视频理解基准 OVO-Bench 与 StreamingBench 上开展评估,并区分主动式(模型自主决定响应时刻)与被动式(响应时刻与提问时刻一致)子任务。实现上采用 Qwen3-VL-8B 作为模型骨干,并遵循既有工作对输入分辨率与帧采样策略的设置。

实验结果显示,在主动式子任务方面,Response-G1 在开源流式视频大模型上提升显著:在 OVO-Bench 上,Response-G1 提升了12.8%;在 StreamingBench 的 PO 子任务上,提升达15.1%。在被动式子任务方面,Response-G1 也形成稳定增益。

这表明,显式场景图不仅改善「何时说」,而且在有时空推理需求的用户问题上,也有助于「说得准」。



表 1. OVO-Bench 上的性能对比(主动式子任务为 Forward Active Responding;其余子任务为被动式设定)



表 2. StreamingBench 上的性能对比(主动式子任务为 PO;其余子任务为被动式设定)

消融与流式主动交互案例

消融实验表明:(1)引入基于场景图的检索增强可同步提升主动式与被动式流式视频理解的表现,而引入时间戳的场景图编码一定程度地提升了模型的证据理解。(2)在流式视频的场景图证据在线生成阶段,「查询引导」优于「目标引导」策略,后者可能诱发模型生成不存在的场景图三元组证据并导致过早响应问题。



表 3. 消融实验(左:不同检索增强策略的有效性;右:不同证据生成引导策略的有效性)

可视化案例展示了一个需要等待证据线索逐步显露的流式视频主动交互场景(用户提问:「一个穿着红色 T 恤的男孩在离开后做了什么事情?」)。

结果表明,在时间「18:51」处,Response-G1 准确检索到与查询相关的场景图(即证据)并触发响应,而基线方法在整个视频流中均始终未能作出响应。



图 3. 流式视频主动式交互可视化案例

结语

该研究的意义在于:它把主动交互流式视频理解里难以捉摸的「时机」问题,通过显式的统一的图表示,转写为更可解释、可调试的「证据 - 条件对齐」问题。

在视频大模型逐步走向真实在线、主动交互的当下,这种结构化中间表示或许能为后续的多模态全能助手、长流式记忆与更复杂的人机协同,提供一个更可组合的底座。

作者介绍

本文作者马可(https://kadmkbl.github.io)、唐家祺(https://jqt.me),分别来自西北工业大学和香港科技大学的博士研究生,研究方向为多模态大模型与智能体。

通讯作者是西北工业大学的郭斌教授(http://guob.org),长期从事普适计算、群智感知、具身智能及智能物联网等领域的研究。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

不似少年游
2026-11-19 07:21:22
参加完APEC晚宴的普京返回深圳前海下榻酒店,该酒店是知名网红地标,坐拥一线海景;此前特朗普车队也已抵达下榻酒店,市民在周边热情等候

参加完APEC晚宴的普京返回深圳前海下榻酒店,该酒店是知名网红地标,坐拥一线海景;此前特朗普车队也已抵达下榻酒店,市民在周边热情等候

极目新闻
2026-11-19 01:03:13
字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

城事堂
2026-11-18 17:22:57
领导人的OOTD!APEC“全家福”服饰演变

领导人的OOTD!APEC“全家福”服饰演变

看看新闻Knews
2026-11-19 00:38:12
保利集团紧急声明:如有发现,请尽快报案

保利集团紧急声明:如有发现,请尽快报案

南方都市报
2026-11-18 08:31:03
社会消费品零售总额同比—12.1%。

社会消费品零售总额同比—12.1%。

Yuichi的宏观金融笔记
2026-11-19 10:11:17
宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

城事堂
2026-11-19 08:54:42
高市早苗到了,从APEC欢迎仪式开始,日媒就酸了

高市早苗到了,从APEC欢迎仪式开始,日媒就酸了

芳华青年
2026-11-19 10:23:28
为什么这么多领导人在深圳找到快乐?

为什么这么多领导人在深圳找到快乐?

新民周刊
2026-11-19 07:20:10
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
APEC领导人非正式会议现场:普京笔不离手、认真记重点,特朗普专注聆听

APEC领导人非正式会议现场:普京笔不离手、认真记重点,特朗普专注聆听

极目新闻
2026-11-19 10:54:45
格力电器成被执行人

格力电器成被执行人

界面新闻
2026-11-19 11:05:44
特朗普从酒店出发前往APEC会场,市民拍到他隔着车窗挥手打招呼

特朗普从酒店出发前往APEC会场,市民拍到他隔着车窗挥手打招呼

极目新闻
2026-11-19 10:54:45
连续5天系统崩了又崩,美媒主播:得怀疑是不是外国对手捣乱

连续5天系统崩了又崩,美媒主播:得怀疑是不是外国对手捣乱

热搜摘要官
2026-11-18 01:24:16
特朗普表示“我们必须保护好天才”,并提及了马斯克和黄仁勋

特朗普表示“我们必须保护好天才”,并提及了马斯克和黄仁勋

财闻
2026-11-19 10:39:18
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
APEC晚宴菜单曝光,看看都吃了啥

APEC晚宴菜单曝光,看看都吃了啥

极目新闻
2026-11-19 10:23:08
申京伤退!火箭大胜步行者 杜兰特21分迎里程碑卡帅被驱逐

申京伤退!火箭大胜步行者 杜兰特21分迎里程碑卡帅被驱逐

醉卧浮生
2026-11-19 10:26:00
2026-11-19 12:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14510文章数 142761关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

三排都不将就,还有云辇和智能四驱,方程豹钛9想通了什么?

态度原创

亲子
本地
艺术
房产
公开课

亲子要闻

潮州月子中心不同套餐的产后恢复效果对比咋样?

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

95后女孩用247天拍遍56个民族服饰,东方美学美得太惊艳!

房产要闻

2.5亿!丁村侨中,新动作来了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版