网易首页 > 网易号 > 正文 申请入驻

快手Keye-VL-2.0刷新多模态推理能力边界

0
分享至

近日,快手正式发布了新版多模态大模型Keye-VL-2.0-30B-A3B。作为Keye家族最新一代的30B级主力基座,Keye-VL-2.0-30B-A3B率先将DSA(DeepSeek Sparse Attention)机制引入多模态理解场景,成功解锁了256K超长上下文的深度感知,在长视频时序感知上实现了几乎无损的推理能力。

更具里程碑意义的是,这也是Keye系列首次解锁Agent协作机制,在Code、Tool、Search等复杂场景下展现出了扎实的系统级协作与执行潜力。

DSA首次落地多模态,破解长视频理解瓶颈

视频理解的痛点,往往在于超长视觉上下文带来的指数级计算开销与核心信息的稀释。

Keye-VL-2.0-30B-A3B在底层架构上完成了关键跨越——首次在多模态理解场景中成功应用了DSA(DeepSeek Sparse Attention)。通过结合稀疏注意力与极具针对性的特征聚合,模型在处理长达小时级的视频序列时,能够有效进行高噪环境下的信息提纯,精准捕捉关键帧并理清动态规律。

这一技术突破直接体现在模型对长时序任务的理解能力上。无论是TimeLens的细粒度动作锚定,还是在LongVideoBench上的综合长时序解析,Keye-VL-2.0-30B-A3B都展现出了对同级别甚至200B+超大参数开源基座的显著压制力。



从静态识别迈向深度推理,实现视频理解质变

长视频理解一直是多模态领域最具挑战性的方向之一。

传统视觉大模型通常依赖抽帧与标签化描述完成视频解析,能够识别“出现了什么”,却难以真正理解连续时序中的逻辑关系。因此,当用户输入一段数分钟甚至数十分钟的视频,并要求模型进行总结、规划或决策时,很多模型仍会输出基于字幕与标签拼接的“流水账”。

Keye-VL-2.0-30B-A3B则展现出明显不同的能力路径。在冰岛旅行Vlog测试中,模型不仅识别出天气骤变、极端环境与事故风险等关键视觉信息,还能够结合上下文推演出“需准备保暖装备”“建议优先选择跟团出行”等具备现实决策价值的旅行建议。面对工艺制作视频,模型可输出毫秒级精确时间戳拆解,准确识别复杂工序并完成结构化归纳;在电竞赛事视频中,则能够结合视觉变化、字幕信息和比分演化,还原“绝境翻盘”的叙事逻辑,实现跨模态语义融合分析。

这种能力的关键,在于模型开始建立“时序因果链条”。它不仅理解单帧内容,更能够在长时间跨度的视频流中识别事件之间的关联关系,并基于人类逻辑完成更深层次的规划与判断。

Agent能力首次解锁,打通“感知—规划—执行”闭环

此次发布的另一项关键突破,是Keye系列首次在多模态基座中内建了Agent协作机制。

依托Code Agent、Tool Agent等能力模块,Keye-VL-2.0具备复杂任务拆解、工具调度与多轮执行能力,可在代码解析、API调用、任务规划等场景中实现稳定执行。在复杂业务测试中,面对涉及门店检索、距离测算、商品筛选、订单生成等多线程任务链,模型能够自主完成任务规划、参数调用及容错调整,顺利完成多轮执行闭环。这标志着快手多模态模型正式从“内容理解”迈向“任务执行”,具备更强业务协同潜力。

强化学习与多专家融合,构建可靠推理底座

为了进一步提升复杂推理场景下的稳定性,快手还构建了一套全新的多模态强化学习体系。

其中,Context-RL奖励机制通过混合模态参考信息生成细粒度奖励信号,对数学、代码、多步推理等复杂任务进行事实性约束,降低模型幻觉率。同时,团队引入Accuracy Filtering机制,对训练轨迹进行实时质量筛选,剔除逻辑断层与低质量样本,提升强化学习稳定性。此外,针对多任务学习中的“灾难性遗忘”问题,快手还创新性引入跨模态MOPD(多专家策略蒸馏/合并)技术。

通过动态路由与参数融合,模型在持续增强视频理解与Agent能力的同时,依然能够保持数学推理、STEM与指令遵循等通用能力稳定增长。下图是Keye-VL-2.0-30B-A3B最终定版在全维度基准测试中的“全景成绩单”:



扎根业务场景,推动智能生态全面升级

技术突破的终点不但是榜单成绩,更是业务价值兑现。目前,Keye-VL-2.0已在内容推荐、商业化投放、内容治理等多个内部场景落地应用,通过提升视频语义理解精度,显著增强推荐系统命中率和广告标签抽取效果。与此同时,其Video × Agent能力也将进一步赋能创作者生态,实现视频检索、高光提取、智能剪辑、营销生成等自动化工作流,推动内容生产方式升级。

快手技术团队表示,未来将以将以30B版本的成功经验为跳板,稳步向真正的原生多模态(Native Multimodal)与端到端深度融合挺进,通过一次次扎实的业务验证与版本迭代,持续构筑具有深度的行业技术影响力,沉淀不可替代的核心基建壁垒。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中央批准:中央候补委员跨省履新!曾任2所高校校长

中央批准:中央候补委员跨省履新!曾任2所高校校长

双一流高校
2026-09-19 00:53:19
月球上遍地是土,却没人敢随便挖一锹。为什么?因为那层4米厚的月壤,压根不是普通泥土,而是太阳系40亿年演化留下的“黑匣子”

月球上遍地是土,却没人敢随便挖一锹。为什么?因为那层4米厚的月壤,压根不是普通泥土,而是太阳系40亿年演化留下的“黑匣子”

扶苏聊历史
2026-09-18 15:26:02
拍出这张照片的人就是天才!网友:不得不佩服

拍出这张照片的人就是天才!网友:不得不佩服

摄影技巧入门教程
2026-09-18 16:18:32
中国第二轮“严打”来了,这次更严格,一个都跑不了!

中国第二轮“严打”来了,这次更严格,一个都跑不了!

职场资深秘书
2026-09-18 19:47:37
网传哈医大二院医生披露敬一丹抢救,送医时瞳孔已然放大

网传哈医大二院医生披露敬一丹抢救,送医时瞳孔已然放大

周哥一影视
2026-09-19 02:31:24
广西“替人养子”事件冲上热搜:一个出轨女,害惨三代人……

广西“替人养子”事件冲上热搜:一个出轨女,害惨三代人……

桌子的生活观
2026-09-18 12:45:59
1-0后!贝蒂斯成西甲争冠黑马:6轮5胜进前三,先斩皇马后擒巴萨

1-0后!贝蒂斯成西甲争冠黑马:6轮5胜进前三,先斩皇马后擒巴萨

体育知多少
2026-09-18 10:24:54
每一辆问界车价10%归华为,不是利润,而是拯救赛力斯的成本

每一辆问界车价10%归华为,不是利润,而是拯救赛力斯的成本

TMC动力
2026-09-18 17:25:31
星宇股份又出事了。被曝黄河路智能产业园近90%一线工人是劳务派遣临时工,正式工只占10%,且集中在管理岗。

星宇股份又出事了。被曝黄河路智能产业园近90%一线工人是劳务派遣临时工,正式工只占10%,且集中在管理岗。

纯洁的微笑
2026-09-18 12:32:39
中美外长这通电话释放出的信息

中美外长这通电话释放出的信息

环球时报国际
2026-09-18 15:33:04
特朗普:已与丹麦达成协议 美国获得对格陵兰岛的永久安全控制权

特朗普:已与丹麦达成协议 美国获得对格陵兰岛的永久安全控制权

财联社
2026-09-19 06:39:07
中国男篮20分之差惨败日本 媒体人:人家4混血+1归化+1韩裔+1华裔

中国男篮20分之差惨败日本 媒体人:人家4混血+1归化+1韩裔+1华裔

劲爆体坛
2026-09-18 20:27:04
0-3德比惨败!10.8亿豪门夏窗引援全球第一却创耻辱纪录 3轮只拿1分

0-3德比惨败!10.8亿豪门夏窗引援全球第一却创耻辱纪录 3轮只拿1分

狍子歪解体坛
2026-09-19 04:58:09
广西“孙子非亲生”案更新!老人患癌深感来日不多,直接表态:若是亲生的,钱全部归你;若不是亲生的,只要一元钱和一句道歉

广西“孙子非亲生”案更新!老人患癌深感来日不多,直接表态:若是亲生的,钱全部归你;若不是亲生的,只要一元钱和一句道歉

火山詩话
2026-09-18 17:54:10
王鹤棣疯传做阴茎增大术坏死!「诊所急发3点声明」 热搜爆了压不下来

王鹤棣疯传做阴茎增大术坏死!「诊所急发3点声明」 热搜爆了压不下来

ETtoday星光云
2026-09-17 13:51:01
智谱ZCode被曝偷传用户数据,官方致歉

智谱ZCode被曝偷传用户数据,官方致歉

识礁Farsight
2026-09-18 18:06:56
河南一数学老师花300多万拍院线电影,上映三天票房不到3万,本人回应:已无力回天

河南一数学老师花300多万拍院线电影,上映三天票房不到3万,本人回应:已无力回天

互联网大观
2026-09-18 17:44:42
炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

小徐讲八卦
2026-09-17 09:49:48
敬一丹悼念会当天,荒唐的一幕接连出现,洋女婿缺席仅是开胃菜

敬一丹悼念会当天,荒唐的一幕接连出现,洋女婿缺席仅是开胃菜

许三岁
2026-09-18 16:12:23
浙江夜场整治事件舆论发酵!网传一女生从浙江回乡,先后相亲12个对象,听闻籍贯直接拒绝

浙江夜场整治事件舆论发酵!网传一女生从浙江回乡,先后相亲12个对象,听闻籍贯直接拒绝

火山詩话
2026-09-18 05:31:57
2026-09-19 07:24:49
公益的力量
公益的力量
公益之光照亮人心,温暖与希望同行。
313文章数 2关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

头条要闻

俄杜马选举拉夫罗夫"意外"登顶名单 梅德韦杰夫被拿下

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

教育
家居
艺术
健康
房产

教育要闻

应届博士生,加入985!

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

好色也分段位?这位时尚摄影大师,直接杀进王者局!

脑动脉瘤的治疗方法,该选哪一种?

房产要闻

海口房价,降不动了!

无障碍浏览 进入关怀版