网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | 拒绝堆算力,vivo开源首个4K超高清编辑数据集VINS-120K

0
分享至

针对4K图像编辑中数据匮乏与细节建模的难题,vivo发布首个指令式超高分辨率编辑数据集 VINS-120K(含12万组精选4K三元组)。此外,还提出了一种高频感知适配策略,将预训练的低分辨率模型有效扩展至超高分辨率(UHR)领域,并配套构建了评测基准 VINS-4KEval。显著提升图像编辑细节与纹理真实感。



论文名称: VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset 论文链接: https://arxiv.org/pdf/2605.23518 代码仓库: https://huggingface.co/datasets/openvivo/VINS-120K
一、研究背景:图像编辑模型的分辨率瓶颈

当前主流指令编辑模型大多工作在 <=1024 分辨率。在手机拍摄图像已迈入 4K 时代的背景下,直接处理 4096x4096 输入时,常见退化包括结构不稳定、语义偏移,难以满足电影工业修帧、商业广告设计、社交媒体分发等真实场景对编辑精准、细节真实的双重要求。

直观的替代流程是 “下采样 -> 编辑 -> 上采样”。该流程虽可运行,但存在明确上限:降采样阶段丢失的高频信息很难在后续超分中被真实恢复,最终影响细节真实性,往往还伴随着指令遵循度下降的问题。

论文将 UHR 编辑瓶颈归纳以下两点:

  • 缺少大规模、高质量 UHR 指令编辑数据。

  • NHR 预训练模型在长序列与高频细节建模上不稳定。

图1:论文的方法与Kontext编辑下采样后的4K图像再超分的视觉对比

二、数据支撑:VINS-120K 与 VINS-4KEval

为了填平底层架构与 4K 需求之间的鸿沟,论文正式提出了 VINS-120K ,它包含 12 万组 精心筛选的 “指令-输入图-编辑图” 三元组,横跨 4 大类共 13 种编辑类型,平均分辨率高达 4656 x 4138。


图2:VINS-120K的编辑类型分布与可视化


  • 在数据源上采用了互补制备策略:25K 原生超高清视频帧对 + 95K 外部编辑数据补充。前者用于从真实世界保留精细纹理与自然变化,后者用于补齐难以真实获取的长尾编辑类型,避免模型只擅长少数任务。

  • 在标注上引入了视觉语言模型Gemini-2.5-Pro,进行“先全局再局部”的结构化推理生成指令,并加入自反思机制,把图像变化转成可执行、可评估的编辑指令。

  • 在质量控制上,采用严格的四阶段过滤:文件有效性、图像质量、指令一致性、美学质量。最终保留前 20% 样本,确保训练信号稳定且高质量。

图3:VINS-120K数据筛选流程示意图

评测基准VINS-4KEval 含 509 个 4K 测试样本,覆盖同分布的 13 类编辑任务,用于统一评估 UHR 条件下的编辑能力和细节保真。

三、核心方法:高频感知后适应策略

相比于耗费大量算力重新训练 4K 编辑基座模型,论文基于 VINS-120K 提出了一种高频感知后适应策略,将现有 NHR 编辑器稳定迁移到 UHR场景。方法主要针对两大挑战:

  • 4K 场景下 token 序列长度远超预训练设置,注意力和位置编码容易失稳。

  • 常规训练目标对高频细节关注不够,4K 场景下的精细纹理的保留与生成仍有较大提升空间。

3.1 长序列泛化(Long-Token-Sequence Generalization)

分辨率从 1K 升到 4K 后,token 序列显著变长,常见问题是注意力分布出现“熵漂移”(过度平滑、目标区域不聚焦) 以及 RoPE 外推失稳带来的语义漂移。论文用两步修正:

1. 注意力分数重缩放:引入与分辨率挂钩的温度参数 重新缩放注意力分数(Rescaling Attention Score),让长序列场景下的注意力重新变得有区分度,提升目标区域定位能力。


2. RoPE 重缩放:将更长序列的位置编码压缩回预训练相对熟悉的范围(缩放频率基数 ),降低长上下文外推失效风险。


3.2 频域聚焦监督(Frequency-Focused Supervision, FFS)

仅有长序列修正尚不足以保证 UHR 编辑的细节保真度。论文在标准流匹配损失之外引入频域监督:


其核心在于动态加权:早期去噪阶段抑制高频噪声放大,后期逐步增强高频约束,以恢复毛发、纹理、边缘等细节。 代表离散傅里叶变换后的频谱差异。

四、实验评估

论文基于 Flux.1-Kontext-dev 在 VINS-120K 上进行后适应训练。与现有的主流开源模型(Step1X-Edit, Bagel, Flux.1-Kontext-dev等)以及支持 4K 的闭源商业模型 Seedream 4.0 在 VINS-4KEval 进行系统比较。主评测采用 ImageJudge、VIEScore 和 pFID 三类指标,主要评估编辑能力和细节保真度。核心结果可以概括为三点:

  • Flux.1-Kontext-dev 适配后 pFID: 12.66 -> 9.15,细节保真度显著增强,明显优于现有主流方法。

  • ImageJudge / VIEScore 评估的编辑能力基本持平,说明细节提升不是靠明显牺牲编辑能力换来的。

  • 与 Seedream 4.0 对比时,本文方法在 pFID 上更优(9.15 vs 12.82),但编辑能力分数上 Seedream 仍更高。

表1:论文的方法与主流基线在VINS-120K上的定量比较

在视觉对比上,论文的模型在全局和局部编辑任务中,都展现了更好的边缘清晰度和细节保真度:


图4:论文的方法与主流基线的定性比较

与闭源模型 Seedream 4.0 的可视化对比:


图5:论文的方法与Seedream 4.0的定性比较

消融结果说明最终收益来自“数据构建 + 方法设计”的协同:

  • 从可视化中可以发现,注意力分数重缩放(attention score rescaling)能够使注意力图在目标编辑区域上表现出更具判别性的响应,增强语义遵循度;RoPE重缩放能明显缓解语义漂移和局部重复的现象。去除后适应会出现明显整体退化,说明 UHR 迁移不能靠简单放大分辨率。

  • 去掉数据集的制备和严格筛选,整体性能也会下降,说明数据质量和任务覆盖同样关键。

  • 只用真实视频帧对会得到更低 pFID,但编辑能力略弱,反映出真实性与编辑任务覆盖度之间的权衡需求。

表2:更多消融实验和评估图6:注意力重缩放的消融可视化图7:RoPE重缩放的可视化

泛化方面也给出了积极信号在 QwenImage-Edit-2511 上无需重调即可把 pFID 从 18.33 降到 11.38,且与基线保持了相当的编辑能力,定性结果如下:


图8:QwenImage-Edit-2511在VINS-120K上进行后适应训练的定性结果 五、总结

VINS-120K 与高频感知后适配策略的提出,有效填补了 AI 图像编辑模型与现代高清显示/采集设备之间的鸿沟,为现有 NHR 编辑模型提供了一条更具落地价值的 UHR 迁移路径。从此,对超高清图像进行编辑拥有了无需画质的降级的可行方案。

Illustration From IconScout By IconScout Store

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
远离满嘴“家国大义”的人

远离满嘴“家国大义”的人

难得君
2026-10-04 14:53:26
真该把这张照片裱起来,挂在“娱乐圈意难平”展览馆的第一墙

真该把这张照片裱起来,挂在“娱乐圈意难平”展览馆的第一墙

舞指飞扬
2026-11-01 11:05:27
“我有罪,对不起人民!”中国高铁总设计师被判死刑前,含泪忏悔

“我有罪,对不起人民!”中国高铁总设计师被判死刑前,含泪忏悔

刘哥谈体育
2026-11-08 14:30:04
城管砸烂“老兵烧烤”,叫嚣让他随便告,凌晨领导急电:闯大祸了

城管砸烂“老兵烧烤”,叫嚣让他随便告,凌晨领导急电:闯大祸了

悬案解密档案
2025-10-22 09:48:53
别再被骗!柬埔寨园区根本不是诈骗公司,是拿人命换钱的黑色工厂

别再被骗!柬埔寨园区根本不是诈骗公司,是拿人命换钱的黑色工厂

四海神君
2026-11-01 15:00:04
埃森科特阵营选举组阁均占优 内塔尼亚胡遭激进政策反噬

埃森科特阵营选举组阁均占优 内塔尼亚胡遭激进政策反噬

极目新闻
2026-11-09 13:43:33
肯尼迪的秘书回忆:亲眼见到赫本走进肯尼迪的房间,屋里很快传来赫本清脆的笑声,这背后是一场怎样颠覆认知的危险博弈

肯尼迪的秘书回忆:亲眼见到赫本走进肯尼迪的房间,屋里很快传来赫本清脆的笑声,这背后是一场怎样颠覆认知的危险博弈

磊子讲史
2026-10-24 11:22:44
网友们说出了我们企业在海外的另一面

网友们说出了我们企业在海外的另一面

清晖有墨
2026-11-06 14:28:02
“出轨”是烟雾弹?黄仁勋的30万亿商业帝国,正遭遇一场精准围剿

“出轨”是烟雾弹?黄仁勋的30万亿商业帝国,正遭遇一场精准围剿

小莜读史
2026-11-09 18:01:57
美论坛曾言:日本若敢又来侵略中国,在美国帮助下能将其击败吗?

美论坛曾言:日本若敢又来侵略中国,在美国帮助下能将其击败吗?

荷兰豆爱健康
2026-11-02 05:49:56
中纪委明确划红线!要求各地哪怕脱层皮,也要一抓到底!

中纪委明确划红线!要求各地哪怕脱层皮,也要一抓到底!

职场资深秘书
2026-11-09 22:04:28
民政部没撒谎:比生不出娃更扎心的,是年轻人连婚都不想结了

民政部没撒谎:比生不出娃更扎心的,是年轻人连婚都不想结了

离离言几许
2026-11-09 16:15:33
恭喜!中国女篮14岁2米20新星上线,父亲曾打CBA,比张子宇更灵活

恭喜!中国女篮14岁2米20新星上线,父亲曾打CBA,比张子宇更灵活

生活新鲜市
2026-10-17 10:34:34
万亿央企蛀虫终于揪出来了!离职七年难逃法网,25年腐化史现真容

万亿央企蛀虫终于揪出来了!离职七年难逃法网,25年腐化史现真容

阿器谈史
2026-07-14 16:57:29
离婚证到手,从没正视过我的总裁妻子走向我,四目相对时,她平静道:“泽鸣会取代你副总裁的位置!”我平静应好,隔天她回集团后傻眼了

离婚证到手,从没正视过我的总裁妻子走向我,四目相对时,她平静道:“泽鸣会取代你副总裁的位置!”我平静应好,隔天她回集团后傻眼了

情愫故事
2026-11-07 18:39:00
龙丹妮入主天娱那一年,毁掉的内娱艺人,远比你想象的多!

龙丹妮入主天娱那一年,毁掉的内娱艺人,远比你想象的多!

墨策史
2026-11-07 17:20:59
英国小两口在拼多多买了个花园拱门,收到包裹懵逼了!网友:这就是为什么有些人不该获得选举权的原因...

英国小两口在拼多多买了个花园拱门,收到包裹懵逼了!网友:这就是为什么有些人不该获得选举权的原因...

悦居英国
2026-10-16 18:52:20
曼联预计将让卡里克下课!正在确定新帅合适人选,高层仍存在分歧

曼联预计将让卡里克下课!正在确定新帅合适人选,高层仍存在分歧

罗米的曼联博客
2026-11-10 06:46:42
贵州公务员“永盛”去世!年仅25岁,大学没毕业就考上公务员,疑似原因曝光太可惜,日常喜欢骑机车

贵州公务员“永盛”去世!年仅25岁,大学没毕业就考上公务员,疑似原因曝光太可惜,日常喜欢骑机车

裕丰娱间说
2026-11-09 15:30:13
公元前109年,汉朝小官涉何出使卫氏朝鲜,指使车夫当场捅死了朝鲜裨王长,随后,向汉武帝谎报军情,引发灭国之战

公元前109年,汉朝小官涉何出使卫氏朝鲜,指使车夫当场捅死了朝鲜裨王长,随后,向汉武帝谎报军情,引发灭国之战

沐书闲读
2026-11-09 11:10:15
2026-11-10 10:40:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2538文章数 597关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

本地
时尚
亲子
游戏
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

亲子要闻

幼儿园3年减少5.73万所

《暗喻幻想》官宣要有新消息!玩家:苦等两年的DLC?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版