网易首页 > 网易号 > 正文 申请入驻

AI改图,终于懂点「用户心理学」了

0
分享至

一张电商图片,既要准确展示商品,也要契合用户喜好,更承载着价值转化的商业期待。当图像编辑开始读懂用户偏好,模型能否将不同的创作意图转化为合心意、可使用的电商素材,进一步激发商业价值潜能?

快手技术团队推出 KwaiMind,一套面向真实电商内容生产的图像编辑基座模型。融合通用图像编辑与电商专项能力,在保留商品细节、准确呈现文字的同时,满足多样化创作需求,并配套构建电商任务评测体系,形成从数据生产、模型训练到效果评估与业务反馈的完整闭环。

据技术报告披露,KwaiMind 在多项通用图像编辑基准上取得参评开源模型综合得分第一;在自建电商评测 Ecom-Bench 中,视觉总分位居参评开源模型第一。线上商品主图素材优选 A/B 实验中,KwaiMind 带来实际点击率相对提升约 2.44%,展现了电商图像编辑的商业应用潜力。



图 1 Ecom-Bench 视觉总分与 Ecom-CTR 排名比较。CTR 为预测排名累计计数。

从通用编辑到定向修复,覆盖真实素材生产需求

KwaiMind 将增删、替换、构图调整和局部问题修复纳入同一套指令式编辑能力,支持服装试穿、商品细节展示、配饰佩戴、背景替换、动作调整等任务。商家可以围绕已有素材提出展示需求,也可以针对文字、背景等局部问题进行定向修改。



图 2 KwaiMind 编辑案例,涵盖服装、配饰、商品场景和通用图像编辑。

以电商卖点图为例,模型需要根据商品图与编辑指令调整背景和构图并进行文字的渲染,在突出商品视觉表现的同时,保持其外观、材质与关键细节的一致性。这些要求也考验模型的通用编辑能力。KwaiMind 在适配电商场景的同时,也展现出较强的通用编辑能力,在多个通用基准测试中均优于本报告中其他参评的开源模型。



图 3 KwaiMind 在四组通用编辑评测中均取得参评开源组最高总体得分。

四项智能体协作,维护约 180 万对高质量训练样本

电商素材规模庞大、来源多样,既需保障质量,也需适配不同任务。传统流程依赖反复筛选、修改和复核,成本高、效率低,标准也难统一。为此,KwaiMind 构建了多智能体数据引擎,将质量过滤、样本修复、定向补充与指令标注整合为统一流程,实现任务自动流转、样本状态可追踪。四类智能体分工如下:

  • Filter Agent:预筛输入图像,复筛编辑结果;
  • Generation Agent:根据诊断修复可恢复样本,补充覆盖不足的任务数据;
  • Caption Agent:生成不同粒度的编辑指令;
  • Coordinator Agent:维护样本状态与分布,统筹任务调度、流程衔接及重试。

系统同时引入 Human-in-the-Loop 机制,将低置信、高分歧样本交由人工审核,审核结果回流数据生产流程,兼顾处理效率与数据质量。



图 4 精选 SFT 数据的任务构成及代表性样本。

多智能体数据引擎从约 2,620 万对候选数据中构建并维护约 180 万对高质量训练样本,供 Continued Fine-tuning 阶段使用。进一步精选约 23.49 万对数据用于 SFT 阶段,包括 11.5 万对通用编辑样本和 11.99 万对电商样本。通用数据夯实模型的基础编辑能力,电商数据则围绕服装细节、商品展示和文字编辑等强化专项能力,共同提升模型的指令遵循度与图像美观度。

专项优化与多教师蒸馏,整合为统一基座

真实电商任务往往要求模型同时做好多件事:执行编辑指令、保留商品细节、写对文字,并生成更能吸引用户关注的画面。这些目标的优化难度和收敛节奏并不相同,直接混合训练可能产生干扰,依次优化又可能遗忘已有能力。

KwaiMind 为此采用了一套结合专项能力优化与多教师蒸馏的训练方案:在通用编辑能力之上,模型进一步强化视觉质量、商品一致性、文字准确性以及商业点击吸引力。再通过 DiffusionOPD 将不同专家的能力汇聚到统一模型。



图 5 训练框架与 DiffusionOPD 多教师蒸馏。专项教师在学生自身的去噪轨迹上提供指导。

DiffusionOPD 是一种在线蒸馏策略,由教师沿学生的去噪轨迹逐步指导,使能力迁移更贴近学生实际的生成过程。KwaiMind 将通用编辑、文字处理、商品细节保留与用户偏好整合到同一模型中,让一次编辑兼顾多项要求,例如更换背景时保留包装细节与文字,同时生成更符合用户偏好的展示效果。

Ecom-Bench:系统定义电商任务与评测体系

电商图像编辑需要明确的任务边界,也需要一套能够判断素材是否可用的评价标准。

为此,团队构建 Ecom-Bench,包含 11 项任务、1,100 个案例,每项任务 100 个案例。这些任务包含了虚拟试穿、服装细节、姿态调整等模特穿戴任务,背景替换、商品提取、卖点展示等海报相关任务,以及文字编辑、宣传语去除等文字任务。

围绕这些任务,Ecom-Bench 建立了由 6 个通用维度和 8 个电商专项维度组成的综合评价体系:

  • 通用维度关注指令遵循、融合自然度、物理与光照合理性、非编辑区域保留、图像质量及整体美感;
  • 电商维度关注检查商品身份、文字准确性、面料纹理、模特与姿态、服装合身度、抠图边缘、卖点传达及商品展示完整性。

每项任务选取 2 个通用维度和 2 个电商维度,按任务需求确定评价重点。下表是具体的任务测评维度分配:



表 1 Ecom-Bench 各任务的评价维度分配(对应技术报告 Table 5)

评分时,评审模型会结合参考图、编辑指令和生成结果,按照明确的评分标准,对四个维度分别给出 1-5 的整数分。



单个案例的综合分采用几何平均计算,使文字出错、商品身份偏移等关键缺陷更明显地影响综合得分,降低单项高分所掩盖的素材可用性问题。各任务得分为该任务 100 个案例综合分的平均值,总分再对 11 项任务等权平均。

如图 1 所示,在报告的评测设置及参评模型范围内,KwaiMind 的 Ecom-Bench 视觉总分位居开源模型第一。除了视觉质量,团队还通过 Ecom-CTR 评估生成素材的预测点击偏好。不同模型的输出进行排序,各模型进入前三名的次数累计为 CTR 分数,以衡量相对商业吸引力。KwaiMind 在这一指标上表现优越,体现了模型对素材可用性与用户偏好的兼顾。

下面是一些可视化对比素材,覆盖卖点展示、服装细节、服装展示和虚拟试穿。结合参考图与编辑指令,可以直观看到不同模型在商品素材生成方面的差异。



图 6 服装展示



图 7 服装细节图



图 8 卖点图



图 9 虚拟试穿

业务验证:素材生成到真实点击提升

为了验证 KwaiMind 在实际业务里的应用价值,团队启动了商品主图素材优选线上 A/B 实验。在实验中, KwaiMind 带来了约 2.44% 的实际点击率的相对提升。

在离线评估中,对于随机质量采样的商品图,KwaiMind 生成图的预估 CTR 高于原始商品图的比例,由训练前的 12.16% 提升至 37.41%;相较于未经优化的基线生成图,其预估 CTR 胜率达到 91.89%。

总结

KwaiMind 的推出,让我们看到图像编辑模型进入电商实际工作流程的更多可能。从试穿展示、背景调整到商品细节保留与文字修改,模型需要理解的不只是 “画面怎么改”,还有 “商品应该如何呈现”,以及 “什么样的内容更能吸引用户”。对于开发者而言,统一的编辑基座与配套评测体系,给电商应用和定制工作流提供了坚实的基础。对于商家和创作者而言,这些能力汇聚到同一个模型中,意味着减少反复制作与修改的成本,为创作想法与真实可用素材之间搭起了桥梁,也为尝试不同的商品展示方式留下更多空间。

未来,团队将继续扩展任务覆盖范围,提升专用奖励模型的稳健性,并增强组合编辑与多参考图编辑能力。随着模型能力持续完善并逐步融入日常创作工具,电商素材的生成、修改与优化有望变得更加便捷。KwaiMind 将继续沿着真实生产需求迭代,让模型既能准确呈现商品,也能更好地连接用户;让每一次编辑更贴近需求,让每一份创意更容易落地。

项目与 KwaiMind 技术报告现已发布:

  • KwaiMind 项目: https://github.com/KwaiMmu/KwaiMind
  • Technical Report: https://arxiv.org/abs/2609.26375

本文配图为 AI 生成及 AI 编辑示意图,仅用于展示产品能力,不代表真实人物、真实商品或实际商业案例。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
十几亿工厂被烧毁的热议背后:月薪三千,凭什么让派遣工拼命?

十几亿工厂被烧毁的热议背后:月薪三千,凭什么让派遣工拼命?

娱乐圈见解说
2026-09-20 00:22:02
中国女篮遭韩国逆转,自1994年广岛亚运会后首次无缘决赛

中国女篮遭韩国逆转,自1994年广岛亚运会后首次无缘决赛

懂球帝
2026-09-25 17:16:08
张雨霏夺得亚运会女子50米蝶泳金牌

张雨霏夺得亚运会女子50米蝶泳金牌

界面新闻
2026-09-25 16:06:24
双输好过单赢?奖学金被同学给举报没了,她也反手一个举报,把对方的选调生也给举报下去了

双输好过单赢?奖学金被同学给举报没了,她也反手一个举报,把对方的选调生也给举报下去了

蝴蝶花雨话教育
2026-09-25 00:05:33
王玉雯回应与杨玏的五年感情,并否认隐婚,这次她把分手原因说清楚了:他们俩的规划不同,一个想要稳定,一个要奋斗

王玉雯回应与杨玏的五年感情,并否认隐婚,这次她把分手原因说清楚了:他们俩的规划不同,一个想要稳定,一个要奋斗

一盅情怀
2026-09-24 13:33:02
定居温哥华22年,59岁王祖贤首谈退圈真相,她早就活明白了

定居温哥华22年,59岁王祖贤首谈退圈真相,她早就活明白了

星娱叨叨社
2026-09-25 16:00:16
人大代表建议将机关企事业单位工龄满30年的人,年休假延长至20天

人大代表建议将机关企事业单位工龄满30年的人,年休假延长至20天

职场资深秘书
2026-09-25 13:39:25
只要不嫌脏不嫌丢人,就去干这9个冷门活路,闷声发财!

只要不嫌脏不嫌丢人,就去干这9个冷门活路,闷声发财!

另子维爱读史
2026-09-24 19:10:42
米体:小因扎吉身穿沙特传统服饰庆祝国庆

米体:小因扎吉身穿沙特传统服饰庆祝国庆

懂球帝
2026-09-25 00:25:26
张本智和:日本是我的祖国!要击败中国队 为日本夺得亚运会金牌

张本智和:日本是我的祖国!要击败中国队 为日本夺得亚运会金牌

念洲
2026-08-10 09:19:59
理性消费:3000元拿下续航120公里的电动车,都是72V32AH大电池

理性消费:3000元拿下续航120公里的电动车,都是72V32AH大电池

趣文说娱
2026-09-25 12:35:43
网传小米外包员工领中秋月饼遭拒:大厂外包,原来是最体面的职场二等公民

网传小米外包员工领中秋月饼遭拒:大厂外包,原来是最体面的职场二等公民

觉叔说
2026-09-22 12:58:32
一针没打的280万人,2026年身体真相曝光

一针没打的280万人,2026年身体真相曝光

华庭讲美食
2026-08-26 01:21:08
闲鱼上的ChatGPT代充暗号,已经进化到我看不懂的程度了。

闲鱼上的ChatGPT代充暗号,已经进化到我看不懂的程度了。

数字生命卡兹克
2026-09-24 08:48:22
陈玘谈国乒男队丢冠:樊振东张继科那帮人太狠,我生不逢时

陈玘谈国乒男队丢冠:樊振东张继科那帮人太狠,我生不逢时

陈赩爱体育
2026-09-25 13:59:28
中国极有可能在等,把三大主要问题解决了,再彻底解决台湾问题

中国极有可能在等,把三大主要问题解决了,再彻底解决台湾问题

混沌录
2026-09-19 23:36:06
亚运会乒乓球:大爆冷!韩国0:3完败朝鲜,世乒赛亚军0:3一轮游

亚运会乒乓球:大爆冷!韩国0:3完败朝鲜,世乒赛亚军0:3一轮游

国乒二三事
2026-09-25 11:23:08
正式退出,梁靖崑官宣离队,独自离京,原因曝光,谁注意王皓的回应

正式退出,梁靖崑官宣离队,独自离京,原因曝光,谁注意王皓的回应

乒乓助手
2026-08-18 02:08:26
刘国梁赛后脸色铁青快速离场!托腮看日本官员庆祝 赛前曾微笑招手

刘国梁赛后脸色铁青快速离场!托腮看日本官员庆祝 赛前曾微笑招手

风过乡
2026-09-25 08:15:38
924两周年科创涨150%,人均赚5万!今年股民人均都是亏的...

924两周年科创涨150%,人均赚5万!今年股民人均都是亏的...

金石随笔
2026-09-25 07:08:20
2026-09-25 18:59:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14070文章数 142738关注度
往期回顾 全部

科技要闻

华为赛力斯,一次声势浩大的权、利再分配

头条要闻

中国博士生枪杀北卡华人导师 因精神失常被判无罪

头条要闻

中国博士生枪杀北卡华人导师 因精神失常被判无罪

体育要闻

这场青春风暴,中国足球等了太久

娱乐要闻

肖战因拍《十日终焉》连续做半个月梦

财经要闻

月饼卖不动了...

汽车要闻

全新第四代博越L 上市限时价9.29万元起

态度原创

数码
房产
旅游
亲子
艺术

数码要闻

三星Galaxy Tab S12系列平板曝光:无标准版,预估10月7日发布

房产要闻

全年霸榜TOP1!南海・叁號院周年官宣:新作即将登场

旅游要闻

看北京|第二届中国乐谷・渔阳金秋音乐市集开市

亲子要闻

过中秋节了,4岁女儿去买东西看望爷爷奶奶,小家伙还挺懂事的

艺术要闻

美国发现一幅南宋真迹,字字尽善尽美,启功:这么好的书法我只见过一次!

无障碍浏览 进入关怀版