网易首页 > 网易号 > 正文 申请入驻

把 4K 生图门槛打下来!商汤开源 SenseNova U1.5 Lite

0
分享至


作者樊雅婷
微信FFF111f__

以前的 AI 生图,连六根手指、文字乱码、透视错乱这类基本关都过不了,更不用说商用了。

如今模型能力大幅跃升,用户的要求也随之水涨船高。文字渲染、复杂版式、多图参考、局部编辑、原生4K——这些过去需要多个工具协作才能完成的任务,现在正被压缩进同一套模型之中。

但「能力出现」和「能力可用」之间,依然横亘着不小的距离。一张商业海报可能同时包含人物、产品、商标文字、指定数量、前后空间关系、品牌色号以及若干禁改项,任何一个要素被模型遗漏,整张图就要推倒重来。而每一次推倒重来,都意味着新的token消耗。

甲方的无数条修改意见,就这样在反复生成中被放大为高昂的算力成本。

正因如此,当生图模型真正进入创作流程之后,用户的诉求已经非常明确:更快的时间,更好的交付,更低的成本。

8月3日,商汤开源 SenseNova U1.5 Lite Preview,初步展示了原生统一多模态模型在图像生成与编辑上的能力边界。今天,正式版 SenseNova U1.5 Lite继续向前迈出一步,目标是让这些能力真正融入视觉创作与交付流程。

这一次升级,商汤没有继续在模型规模上做文章。


由 SenseNova U1.5 Lite生成的图书封面

通过精调训练数据、重调后训练流程、优化任务设计,最终打磨出的 SenseNova U1.5 Lite,是一款轻量级、原生统一多模态开源模型。它的目标也非常具体,就是解决用户最真实的诉求,做到更稳、更准、更好。

1

先把分数摆上来

开源生图从来不缺尝试者。难的是在保持模型开放、轻量和可部署的同时,把画质、文字、布局与编辑放进同一个模型,而且每一项都不能成为明显短板。


SenseNova U1.5 Lite 与主流开源、闭源图片模型横向Benchmark

在完整横向评测中,SenseNova U1.5 Lite 在所有维度都位于开源生图模型的领先位置,并且展现了比较均衡的系统能力,在复杂指令、视觉质量和创意生成等维度都表现出较强竞争力。

正式版的提升没有集中在某一项孤立技能上。生成质量、指令执行和编辑能力都在进步。

U1.5 Lite 还能在确保更高性能同时,实现更少的生成延迟。下图显示了测评中,SenseNova U1.5 Lite在 OneIG(EN、ZH)、LongText(EN、ZH)、BizGenEval(Easy、Hard)、CVTG、IGenBench 与 Qwen-Image-Bench 上的生成延迟与平均性能对比。


对于需要批量生成海报、电商图和营销素材的团队,这样带来的意义就很直接。同样的时间和预算,可以支持更多次尝试,也能把生成能力放进更高频的工作流。

不过,Benchmark 终究是一张坐标图。

把这些分数塞进一份真实的设计需求,事情才开始变得有意思。

1

一些实测

一条长Prompt,能不能变成一张完整海报

以前的 AI 生图,提示词太长,模型执行指令时候就会变成金鱼,出现遗忘现象。

所以,第一个测试,是一条长得有些不讲道理的Prompt。

一张竖版2:3复古城市旅行海报,香港维多利亚港,前景是木质红帆船,深红棕色帆面张开,海面有波纹和倒影;中景是现代香港天际线,密集高层建筑,右侧有一栋高耸圆角玻璃摩天楼,左中有带斜向交叉结构的尖顶高楼,建筑背后有灰绿色山体轮廓;远景天空为米白色,右上角有淡橙色柔和小太阳,天空中有几只飞鸟剪影。左上角是巨大的黑色窄长衬线英文标题“HONG KONG”,分两行排列,非常醒目;标题下方有红棕色小号英文副标题“HONG KONG”和几行小字说明。右上角有竖排中文“香港”,红棕色细长宋体,下方有小英文和红色印章式装饰。
整体为复古高端旅行海报风格,摄影底图与平面排版结合,低饱和暖色调,米色纸张质感,轻微胶片颗粒,柔和雾气和空气透视,构图左重右轻,留白充足,画面安静怀旧,像高端城市旅游杂志封面。不要出现水印、二维码、品牌标志、乱码文字,不要现代游艇或快艇,不要高饱和蓝天或强烈夕阳,文字清晰准确。

可以看到效果不错,从真的理解到真的执行。


4K不只是把画布放大

高分辨率生成最容易被误解成像素数量的简单增加。

真正困难的,是画布变大之后,模型还能不能稳住整张图的全局结构。标题、正文、图标和人物之间的关系不能散,局部的文字边缘、材质纹理和光影过渡也不能糊成一片。

U1.5 Lite 正式版原生支持 2K 和 4K 生成。在广告级的画幅下,细节经不经得起推敲,一张图说了不算,放大到 100% 才算。

所以我决定拿时尚封面杂志来试。

前卫高定时装摄影。一位模特身着半透明纸质高定服装,由褶皱、折叠插片、层叠纸板构成。构图上方密集、下方留白,地面有一处红色折纸点缀。配色为绿玉色阴影、阳光黄透光纸边、中国红插片、纯白表面。关键词是摄影,前卫高定时尚大片,纸艺工程,风动感,实验冷静气质。

可以看见成片保留要求的同时保留了纸张褶皱、皮肤纹理的真实感。

改一个地方,其他地方不动

第三组测试从一张已经完成的海报开始。

我给的提示词是

把图片中标题的文字样式改为带有噪点和撕纸纹理的复古风格。


再来一个更细节的。我给的 prompt 是

保持这个配色,将左侧红框中的图案换成更真实的3d金属设备 红框仅用于定位,输出图像中不要保留红框。其他地方不变。


可以看到,这两次海报的局部编辑,除了我的要求,其他地方什么都没改变。

算是高质量的修改交付。

这也对应U1.5 Lite正式版后训练中的一个重要目标:Editing Preservation。

好的编辑需要同时完成两个动作。一边准确执行修改,一边保护原图。该动的地方要动,不该动的地方尽量别动。

当这种保持能力逐渐稳定,图片模型才能从一次性生成器变成可反复沟通的创作工具。用户不再需要每次都推倒重来,可以在同一张作品上继续修改。

下面我们尝试下保持参考图的风格和布局,进行编辑:

参考这张图的水墨视觉语言,生成一张候鸟迁徙廊道保护信息图。


参考图


成图

接下来,我计划再给模型多看几张图,难度还会继续增加。

多张参考图融合出成片

多图参考真正难的地方,是模型能不能分清每张图的职责。

可能它需要保留第一张图里的人物身份,借用第二张图的色彩和材质,再沿用第三张图的版式关系。参考图之间不能互相污染,风格迁移也不能吞掉主体。

U1.5 Lite支持单图、多图参考,以及 Bounding Box、Visual Marker 等控制方式。用户可以指定对象和区域,完成元素插入、替换、局部精修和参考风格迁移。

我把我喜欢的动漫角色都放进一张海报里。

上传这五张图片之后,我给的 prompt 是:

帮我为学校咖啡厅活动设计一张可爱的动漫海报,我想让绿发女孩当我们的厨师,酷男孩(图3)当服务员,黑发女孩(图4)当接待员。让那位严肃的男士(图1)当美食评论家,甜美金发女孩当开心的顾客。请添加一些简单的英文标题,比如“Sweet Cafe”,让它看起来像真正的活动传单。

可以看到最后的成图信息清晰,符合要求。时间 / 地点 / 菜单三个部分以小卡片的形式独立列出,还设计了 So yummy、Come & Enjoy 等符合人物形象的小对白,用气泡呈现增加了活泼感。

模仿、借鉴,再创作

当你的灵感来自于他人的作品,这个时候就可以让模型参考之后进行再创作。就像我觉得下面这张图很好看,我想自己模仿这张图设计一张其他主题的海报。所以我就

更新图1中的主客厅插图,使其与图2中的蓝绿色沙发和几何配色方案相匹配。将现有的白色和橙色沙发替换为蓝绿色L型转角沙发,并更新地毯、扶手椅和墙面装饰,使其采用包含蓝绿色、芥末黄、陶土红、米色和深蓝色的几何图案。添加图3中那只戴着蓝绿色项圈的浅棕色卷毛贵宾犬,让它坐在房间中央扶手椅之间的几何图案地毯上。更新家具布局示意图和配色方案部分,以体现这一新的蓝绿色和几何配色主题。

最后的效果呈现,实力无需多言。


图一图二图三成图

当模型能够区分参考谁的主体、借用谁的风格、沿用谁的布局,多图参考才真正离开玩法展示,进入创作流程。

1

一个模型,怎样同时做好几件事

SenseNova U1.5 Lite 延续了 NEO-unify 的原生统一多模态路线。

在同一个模型架构之下,视觉理解、图像生成与图像编辑被共同训练。模型首先理解原始图像和用户指令,识别其中的主体、文字与空间关系,再完成像素级的最终生成。整个过程中,用户无需在理解模型、生成模型和编辑工具之间反复切换。

统一带来的价值,还进一步体现在能力的迁移上。

模型在视觉理解任务中习得了结构、位置、文字排布与信息层级,这些认知成果可以顺滑地迁移到生成和编辑任务中。面对一条较长的自然语言指令,模型需要解析的已经不是孤立的关键词,而是这些要求之间的内在关系:谁在左边,谁不能被遮挡,哪段文字属于哪个区域,修改时又有哪些内容必须被保留。这正是 U1.5 Lite 能够处理层级化视觉需求,却不需要依赖固定 JSON 模板的原因之一。

但统一训练解决了能力共享的问题之后,新的矛盾也随之浮现。

OCR 关心文字是否准确可读,美学关心构图、色彩和整体质感,编辑则还要兼顾主体身份与结构保持。如果简单地把所有训练目标混在一起,往往会出现一项能力变强、另一项反而被削弱的窘境。

正式版的应对策略,是让各项专项能力先分别变强。

商汤训练了 OCR、美学和编辑等多个 Expert:OCR Expert 强化中英文文字识别与排版质量,美学 Expert 改善构图、色彩、材质、光影和真实感,编辑 Expert 则负责确保主体身份、空间结构以及非编辑区域的一致保持。随后,通过 MOPD 将这些 Expert 的能力重新蒸馏回 U1.5 Lite 中。

最终部署的,仍然只有一个模型——没有额外的 Router,用户也无需关心该调用哪一个 Expert,生成和编辑继续通过统一接口完成。

在此基础上,正式版又引入了更精细的任务导向 RL。它优化的三个目标,都能与前面的测试维度一一对应:Instruction Compliance 关注复杂指令是否被执行完整,Visual Preference 关注构图、真实感和整体完成度,Editing Preservation 关注指定区域是否改对、其他区域能否保持不变。

最后交付的,仍然是 U1.5 Lite,一个轻量级、易部署的统一模型。

1

多模态是一件慢回报的事

把镜头拉远,多模态模型正在进入一个更现实的阶段。

能力仍在增长,行业却已经开始算账。投入多少,成本几何,回报又在哪。参数规模能快速制造话题,但真实视觉任务里的稳定性,靠的是数据、评测和一次次后训练,慢慢磨出来。

长指令会不会漏、文字能不能写对、4K下结构能否保持、局部编辑会不会破坏整张图,这些看似微小的问题恰恰决定了模型能不能真正进入海报、信息图、电商素材和品牌视觉的日常生产。

商汤选择继续沿着原生统一的路线投入。

从 U1 到 U1.5 Preview,再到正式版,SenseNova 没有简单叠加一份更长的能力清单。它在尝试回答一个更实际的问题:一个轻量级、统一、开源的多模态模型,能不能更完整地承担真实视觉创作任务?

U1.5 Lite 给出的答案是让能力更强,也让能力更稳。

把视野再拉开一点,视觉创作只是多模态进入现实世界的一站。一个模型需要先理解画面中的对象、文字和空间关系,才能进一步生成、编辑,最终与更复杂的真实环境发生连接。

这条路不会很快。

但对今天的用户来说,判断它有没有向前走并不难。只需要把它放在最真实的需求里,一试便知。

会生成只是起点,稳定地完成任务,才是开源视觉模型真正进入生产的开始。

GitHub:

https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face:

https://huggingface.co/collections/sensenova/sensenova-u15

SenseNova Studio在线体验:

https://unify.light-ai.top/


点个爱心,再走 吧

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
处罚出炉!郭德纲迎终极“噩耗”,赵本山16年前预言,正变现实

处罚出炉!郭德纲迎终极“噩耗”,赵本山16年前预言,正变现实

叨唠
2026-09-08 05:10:17
和泽连斯基会谈结束后,特朗普女婿表态,“无法保证”乌克兰和平

和泽连斯基会谈结束后,特朗普女婿表态,“无法保证”乌克兰和平

军情观察家
2026-09-07 15:07:25
贾玲又胖起来了,本人回应:实在维持不住 网友:我们的玲儿回来了

贾玲又胖起来了,本人回应:实在维持不住 网友:我们的玲儿回来了

草莓解说体育
2026-09-06 14:30:21
八强收益出炉!奖金积分排名,告别资格赛!郑钦文美网巨大收获

八强收益出炉!奖金积分排名,告别资格赛!郑钦文美网巨大收获

刘哥谈体育
2026-09-08 07:47:40
刘德华cos人形手机幽默带货:三折叠不好用找余总

刘德华cos人形手机幽默带货:三折叠不好用找余总

快科技
2026-09-08 12:07:06
好搞笑,公共场所女生怀疑男生偷拍要查手机,男的说自己是gay还骂她是普信女,女生破防大哭!

好搞笑,公共场所女生怀疑男生偷拍要查手机,男的说自己是gay还骂她是普信女,女生破防大哭!

黯泉
2026-09-07 18:31:45
女子怀孕后被调岗降薪,月薪从8800元降到3000元,拒绝后遭辞退,公司:因绩效不达标,与怀孕无关;当事人:将采取措施维权

女子怀孕后被调岗降薪,月薪从8800元降到3000元,拒绝后遭辞退,公司:因绩效不达标,与怀孕无关;当事人:将采取措施维权

都市快报橙柿互动
2026-09-08 10:51:35
同样是带鱼,“黑眼”和“黄眼”的区别很大!知道后别再乱买

同样是带鱼,“黑眼”和“黄眼”的区别很大!知道后别再乱买

阿龙美食记
2026-09-05 08:56:03
WTT澳门冠军赛:陈熠连赢2局!兑现第3个局点轰11-8,横扫进16强?

WTT澳门冠军赛:陈熠连赢2局!兑现第3个局点轰11-8,横扫进16强?

刘姚尧的文字城堡
2026-09-08 11:25:00
宝格丽上海高级珠宝晚宴,刘亦菲、吴磊、刘嘉玲等盛装亮相,赵露思缺席引热议

宝格丽上海高级珠宝晚宴,刘亦菲、吴磊、刘嘉玲等盛装亮相,赵露思缺席引热议

韩小娱
2026-09-08 09:03:09
孔德沦为巴萨边缘人!四场仅首发一场,加西亚上位取代位置

孔德沦为巴萨边缘人!四场仅首发一场,加西亚上位取代位置

带你逛体坛
2026-09-08 12:52:13
老到不能自理,别再为难自己和孩子,走这3条路才能真正获得解脱

老到不能自理,别再为难自己和孩子,走这3条路才能真正获得解脱

游戏收藏指南
2026-07-26 16:09:07
1999年,毛主席的女婿赴广州参加活动,不幸遭遇意外,令人深感惋惜

1999年,毛主席的女婿赴广州参加活动,不幸遭遇意外,令人深感惋惜

历史龙元阁
2026-09-07 17:55:09
这样打扮的阿姨,确实给人眼前一亮的感觉

这样打扮的阿姨,确实给人眼前一亮的感觉

美女穿搭分享
2026-08-10 12:22:14
他不顾一切娶自己的学生,又因生二胎丢饭碗,二胎长大赚千亿回报

他不顾一切娶自己的学生,又因生二胎丢饭碗,二胎长大赚千亿回报

皮皮电影
2026-09-01 22:10:05
广州图书馆坐满失业者:真正问题不是求职难,是城市缺少 “过渡空间”

广州图书馆坐满失业者:真正问题不是求职难,是城市缺少 “过渡空间”

华文商讯
2026-09-08 10:26:43
朝鲜缺电远比越南严重,中国却始终不向其送电,说白了,一旦输电线搭过去,恐怕会送出个无底洞般的烂账

朝鲜缺电远比越南严重,中国却始终不向其送电,说白了,一旦输电线搭过去,恐怕会送出个无底洞般的烂账

人生录
2026-08-13 00:05:10
哈登已得29339分,还要多久才能超越乔丹?说出来你可能不信

哈登已得29339分,还要多久才能超越乔丹?说出来你可能不信

林子说事
2026-09-07 13:40:10
清华北大8千余新生,一半不是“考”进去的:高考裸分,正在从唯一赛道变成其中一条

清华北大8千余新生,一半不是“考”进去的:高考裸分,正在从唯一赛道变成其中一条

狐狸先森讲升学规划
2026-09-05 05:20:03
黄浦老小区一套房降344万还没卖掉,从1550万跌到936万

黄浦老小区一套房降344万还没卖掉,从1550万跌到936万

说故事的阿袭
2026-09-07 10:22:03
2026-09-08 13:11:00
硅星人 incentive-icons
硅星人
硅(Si)是创造未来的基础,欢迎来到这个星球。
3390文章数 10531关注度
往期回顾 全部

科技要闻

小米再次背水一战

头条要闻

女孩遇"完美男友"被骗上百万 连养的狗都是"女友共享"

头条要闻

女孩遇"完美男友"被骗上百万 连养的狗都是"女友共享"

体育要闻

郑钦文,奇迹只发生在相信奇迹的人身上

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

领克20 领克的纯电小钢炮这次更运动了

态度原创

手机
亲子
数码
本地
公开课

手机要闻

vivo年度创作者盛典回顾,这三个信息最重要

亲子要闻

波兰综合征手术主要解决啥问题?宝宝大小手怎么办?

数码要闻

拜雅MMX 100 wireless、AVENTHO Y耳机国行上架,12日发售

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版