网易首页 > 网易号 > 正文 申请入驻

DeepSeek V4终于补上视觉:多模态Agent能力逼近Opus 4.8

0
分享至



DeepSeek 的 Agent 路线,终于补上了视觉这一块。

就在今天下午,DeepSeek 正式上线实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,并同步开放 API。用户只需将模型名称设置为 deepseek-v4-flash-vision-exp,即可在原有 V4-Flash 的基础上加入图片理解能力。

按照 DeepSeek 公布的数据,新模型在纯文本 Agent、推理和世界知识等能力上与正式版 V4-Flash 基本持平,而在需要视觉理解的 Agent Benchmark 上出现明显提升。DeepSeek 称,其多模态 Agent 能力已经接近 Claude Opus 4.8。

这次更新其实延续了 DeepSeek 最近一个相当清晰的方向:把模型能力进一步推向 Agent。

在今年 4 月 V4 发布后,DeepSeek 一直在强化工具调用和 Agent 能力。7 月底更新的 V4-Flash 已专门针对 Agent 做过后训练,8 月 13 日正式版 V4-Pro 又进一步提升了生产环境中的 Agent 表现,并原生支持 Responses API。与此同时,DeepSeek 最近还开放了自家的 Agent 框架 DeepSeek Harness,试图把模型、工具调用、文件操作、搜索、子 Agent 等能力组织进同一套工作流。

此前,视觉是这套体系里此前比较明显的一块缺口。 但在昨天,Harness v0.1.0-rc.8 更新中,DeepSeek 已经加入更完整的多模态支持:模型适配器可以配置原生图片请求,/goal、/plan 等指令开始支持图文输入,同时还修复了大尺寸图片和历史图片过多导致请求失败的问题。现在随着 V4-Flash-Vision-Exp 上线,Harness 不再只是“接口上做好了看图准备”,而是有了 DeepSeek 自己的原生多模态模型可以接入。

从跑分看,新模型的提升并不主要来自文本能力。在考察终端环境复杂任务执行能力的 Terminal Bench 2.1 上,新模型从 V4-Flash 的 82.7 提升至 83.9;在面向真实软件工程长任务的 DeepSWE 上,从 54.4 升至 59.3;NL2Repo 和 DSBench-Hard 也分别提升至 57.7 和 63.6。整体来看,新模型原本已经较强的 Coding Agent 能力继续小幅上升。

更明显的变化出现在视觉任务上。比如在考察专业图表理解能力的 Chartography 中,新模型达到 64.3(p0.95);此外,ApexBench Pass@1 为 36.5,Agents' Last Exam 为 27.3,ZeroBench Pass@5 为 35.0。DeepSeek 特别说明,旧版 V4-Flash 在 ApexBench 和 Agents' Last Exam 中会直接忽略其中的多模态信息,因此这部分差距更能反映加入视觉能力后的变化。


(来源:DeepSeek)

这对于 Agent 的意义,比普通的“看图问答”更大。现实中的 Agent 很多时候并不是只在文本和代码之间工作。它需要读网页布局、判断按钮位置、理解截图和图表、查看生成出来的 PPT 或网页效果,再根据视觉结果继续修改。也就是说,只有能“看见”自己的工作结果,Agent 才更容易形成完整的执行闭环。

DeepSeek 官方展示的三个案例也都指向这一点:一个是自动制作高端西藏自驾游 PPT,一个是根据视觉要求重新设计 Harness 官网,另一个则是制作带 3D 黏土怪物动态效果的前端 Demo。它们都不只是识别一张图片,而是需要让模型在长链条任务中同时处理视觉信息、代码和工具调用。


(来源:DeepSeek)

API 层面,DeepSeek 也直接围绕 Agent 使用做了适配。V4-Flash-Vision-Exp 支持 Chat Completions、Messages 和 Responses 三种格式,图片可以通过 Base64、外部 URL 或 Files API 传入。图片会转换成 token 计费,单张图片最多占 384 tokens,价格与 V4-Flash 保持一致。新上线的 Files API 还允许同一张图片上传一次后,在多个请求中通过 file_id 重复调用,减少重复传输。官方文档显示,目前 Files API 支持 JPEG、PNG、GIF 和 WebP。


(来源:DeepSeek)

当然,这并不是 DeepSeek 第一次做多模态。早在 2024 年,DeepSeek 就发布过 DeepSeek-VL,随后又推出统一多模态理解与生成模型 Janus。不同之处在于,这一次视觉能力第一次真正进入 V4 主力模型、官方 API 和 Harness Agent 工作流。

目前 V4-Flash-Vision-Exp 仍然带着 “Exp” 后缀,DeepSeek 也明确将其定义为实验模型,尚未公布新的开源权重或完整技术报告。因此,它还不能被视为 V4 多模态能力的最终形态。

但从最近几次连续更新来看,DeepSeek 的路径已经越来越明确:V4 负责模型能力,Harness 负责把模型接入真实任务,而视觉则让 Agent 从主要处理文本和代码,进一步开始理解屏幕上的世界。

参考资料

1.https://api-docs.deepseek.com/updates/

2.https://api-docs.deepseek.com/quick_start/pricing/

3.https://api-docs.deepseek.com/news/news260424/

4.https://github.com/deepseek-ai/DeepSeek-Harness

5.https://github.com/deepseek-ai/DeepSeek-VL

6.https://github.com/deepseek-ai/Janus

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
詹俊:郑钦文决胜盘表现出色,易受困于月亮球的难题得到解决

詹俊:郑钦文决胜盘表现出色,易受困于月亮球的难题得到解决

懂球帝
2026-09-04 06:14:04
玉渊谭天丨中国为什么对G20这场会未发表公报表示遗憾

玉渊谭天丨中国为什么对G20这场会未发表公报表示遗憾

澎湃新闻
2026-09-03 23:23:33
曼联欧冠A名单:蒂勒曼斯、巴莱巴入围,约罗、梅努将进入B名单

曼联欧冠A名单:蒂勒曼斯、巴莱巴入围,约罗、梅努将进入B名单

懂球帝
2026-09-04 06:35:05
价格大跳水!常州市场暴跌15%

价格大跳水!常州市场暴跌15%

常州大喇叭
2026-09-03 17:06:51
袁腾飞移民美国了,太让人震惊了

袁腾飞移民美国了,太让人震惊了

十柱
2026-09-03 00:07:01
每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

万象硬核本尊
2026-09-03 18:26:53
台湾高校餐厅播放大陆节目,“青鸟”借题炒作被岛内网民嘲讽:大惊小怪,玻璃心

台湾高校餐厅播放大陆节目,“青鸟”借题炒作被岛内网民嘲讽:大惊小怪,玻璃心

环球网资讯
2026-09-03 22:03:10
大坂直美致敬艾弗森遭批,AI终于回应了

大坂直美致敬艾弗森遭批,AI终于回应了

甜度百分百21
2026-09-02 23:41:07
余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

余承东:阔折叠比例被模仿后,含金量会提升!雷军:新形态中折叠!徐洁云:“我有一个同行朋友,学习能力挺强的,大家不要嘲笑他”

大白聊IT
2026-09-03 23:28:14
破鼓万人锤!奔驰大众调查,竞品对接其客户,星宇真要肉疼了!

破鼓万人锤!奔驰大众调查,竞品对接其客户,星宇真要肉疼了!

天天热点见闻
2026-09-02 10:56:17
金正恩访问越南,乘专列耗时65小时40分,为什么不坐飞机?原来大有讲究

金正恩访问越南,乘专列耗时65小时40分,为什么不坐飞机?原来大有讲究

文史道
2026-08-15 23:01:48
特斯拉首批换电政策:旧电可抵扣,维修模组近三万,整包报价慌了

特斯拉首批换电政策:旧电可抵扣,维修模组近三万,整包报价慌了

刘哥谈体育
2026-09-03 11:19:20
难以置信,郑钦文打出4个不可思议,52个失误也能赢,决胜盘太强

难以置信,郑钦文打出4个不可思议,52个失误也能赢,决胜盘太强

南海浪花
2026-09-04 06:44:13
泽连斯基宣布,乌开始封锁俄领空!话音落下,中方指出唯一出路

泽连斯基宣布,乌开始封锁俄领空!话音落下,中方指出唯一出路

影孖看世界
2026-09-03 23:06:10
50岁老虎伍兹出庭认罪,特朗普的模特前儿媳相伴身旁,“患难鸳鸯”

50岁老虎伍兹出庭认罪,特朗普的模特前儿媳相伴身旁,“患难鸳鸯”

译言
2026-09-03 09:38:36
WTT常规挑战赛:太遗憾!世界冠军0:3无缘女单16强,国乒集体缺席

WTT常规挑战赛:太遗憾!世界冠军0:3无缘女单16强,国乒集体缺席

国乒二三事
2026-09-04 06:28:36
中国设备落后15年?蔡司高管承认“很难准确判断”

中国设备落后15年?蔡司高管承认“很难准确判断”

观察者网
2026-09-03 16:56:05
芭堤雅如此迎接“林肯”号“休息与娱乐”?

芭堤雅如此迎接“林肯”号“休息与娱乐”?

新民周刊
2026-09-03 09:10:52
井柏然:以为和倪妮分手遇到刘雯,就够幸运了,没想到幸福又升级

井柏然:以为和倪妮分手遇到刘雯,就够幸运了,没想到幸福又升级

郭蛹包工头
2026-09-03 08:38:30
故意不带李月汝?旧账被翻出,她曾公开批评宫鲁鸣,名记连发三问

故意不带李月汝?旧账被翻出,她曾公开批评宫鲁鸣,名记连发三问

萌兰聊个球
2026-09-03 09:47:08
2026-09-04 08:23:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17185文章数 515199关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

头条要闻

媒体:美国驻华大使馆关心灾情的方式令人不适

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

健康
本地
艺术
数码
公开课

脑梗能否取栓,关键看这几点!

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

艺术要闻

放大《汉宫春晓图》:撕掉宫斗剧滤镜,这才是明代深宫女子的真实日常

数码要闻

英伟达发力“本地AI”!N1X设备10月上架 家庭算力路由器亮相

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版