网易首页 > 网易号 > 正文 申请入驻

这张信息图,居然是8B开源模型做的??

0
分享至

最近,我的女娲.skill 和 Huashu Design 似乎太出圈了。

前者已经分别被腾讯、智谱、Kimi 旗下的龙虾产品作为默认 skill 之一,后者则是听闻很多公司都在研究我那个 skill 的设计逻辑

于是呢,我也没少在各个社交平台再去宣传介绍这些 skill 究竟是什么、工作原理如何。尤其是随着图像生成模型能力变强,我挺爱做类似下面这样的信息图来介绍我做的东西。


给你 5 秒钟,猜一下这张图是什么模型做的?

是 GPT-Image-2?

是 Nano Banana 2?

还是 Seedream 5?

答案揭晓——其实是商汤这周才开源的一个 8B 多模态模型:SenseNova U1

我猜很多人对这个模型还相当陌生,所以呢,我们再让它自己来介绍下自己


它叫 SenseNova U1,来自商汤

这个模型昨天刚开源,分两个尺寸,一个是 8B 的 dense 版本,一个是 A3B 的 MoE 版本,协议是 Apache 2.0,inference code 全开。

它背后的架构叫NEO-Unify。我来尝试简单解释下这个东西。一般主流的多模态模型处理任务的流程有点像请翻译官帮忙:图像先经过一个视觉编码器(Visual Encoder)翻成 token 给模型理解,模型生成的 token 再经过 VAE 翻回像素。U1 把这两个翻译官都辞了,让模型直接读原始像素、直接输出像素,自己学一套近乎无损的视觉表征。

商汤公布的官方分数也挺有意思。8B 这个体量,在图像理解和图像生成两条评测线上都拿到了开源同量级的 SoTA,部分指标接近商业闭源大模型。


最值得关注的是「信息图」这条专项。文字密度高、排版要求精准,这历来是生图模型的硬骨头。U1 在这个维度上的得分跟 Qwen-Image 2.0、Seedream 4.5 这种大模型基本持平,但延迟显著更低。


简单说,同样出一张 2K 信息图,U1 大概只要十几秒,对比 GPT-Image-2 这种闭源大模型的几十秒,单位时间能多出好几倍的产能。

为什么我会想试它

我对多模态生图模型这个赛道的看法,说起来挺简单。

一年前,文生图模型要跑出稳定的中文表现有多难,大家应该都有体感。直到最近,能把这件事真正做对的也只有 OpenAI、Google、字节这少数几家大公司,而且全是闭源大模型。

所以这周看到一个 8B 的开源小模型,敢把「信息图」当主打能力来发布,我是有点意外的。意外到想自己上手试试。

让我更感兴趣的是另一件事。本地能跑的小模型一旦质量上来,它的隐私性、速度、几乎零边际成本,正好能覆盖一些闭源 SaaS 难以触达的场景。

回到我自己。我最在意的是它能不能按我的 prompt 稳定复现风格,比如刚才那张女娲 skill 的 Anthropic 编辑风;以及能不能用合理速度批量出图,我的 agent workflow 里一次任务可能要 10-20 张图,每张多等 30 秒,整个链路就拖死了。

至于本地部署、可微调这些,我自己暂时没刚需。但我接触过的不少行业(医疗、金融、法务)确实非常需要本地能力,他们的素材根本不能上传到云。

这几件事里,前两件 GPT-Image-2 做得不错,后两件它做不到。这不是它的错,闭源 SaaS 本来就不是干这个的。

而 U1 刚好坐在了那个空位上。它在跑分上肯定打不过 GPT-Image-2 的单张极致质量,但它能跑本地、能被改造、还能在十几秒里出一张 2K 信息图。这就够了。

我让它做了什么

理论说完,看东西。

文章开头那张女娲 skill 的图,是我让 U1 做的第三张。我给它的 prompt 写得很具体:「米白底 ,炭黑手绘线,赤陶橙 强调色,三段式 16:9 横向布局,无 sci-fi 无暗模式……」也就是 Anthropic blog 的那种编辑插画风。它第一次跑就接住了。

然后我又让它做了一张更细颗粒度的「女娲三阶段」工作流图:


这种复杂版式 U1 处理得比我预期的稳定。

最近我在跟出版社合作,尝试做新一批带图解示例的橙皮书,所以这阵子比较频繁在测各种生图模型。U1 跑下来,速度和稳定性都比我预想的好。

它真正不一样的地方:图文交错

前面我让 U1 做的都是单张信息图。但它真正不一样的能力,其实是「图文交错」:一次输出里包含多张图和段落正文的连贯混排。

商汤管这个能力叫「带图思考」。模型在推理过程中自动生成中间示意图,把复杂逻辑可视化。这件事 GPT-Image-2、Nano Banana、Seedream 都做不到,它们都是「一次 prompt 出一张图」的单点能力。

举两个官方公布的例子。

「帮我设计几款适合的发型」:用户上传一张自己的照片,U1 不直接给图,而是先做面部特征分析,然后生成多种不同的发型推荐图,每张图旁边配一段为什么适合的解释,最后给一组对比图。


「设计一个建在海南万宁悬崖边的图书馆」:U1 自主构思并生成了四个不同视角的连贯建筑图(外部全景、低角度仰视、高空俯瞰、室内框景),每个视角配一段精准的设计说明,相当于一次给你完整的建筑设计交付。


这种能力很难在闭源 SaaS 上稳定实现。你得自己写一个 agent,让 LLM 调多次生图 API,再把图和文拼起来。而且人物在多张图之间未必一致。U1 把这件事压到了单模型一次推理里。

我自己也跑了两个测试。一个是给小朋友介绍怎么做飞机的4格漫画《第一次坐飞机》


另一个算是我的真实场景,在尝试给我新书《图解 Agent Skills》做配图。


让我意外的几件事:速度极快,基本是边想边出图;人物和风格的一致性维持得很好;最关键的是——一个8B 的开源模型同时具备这种程度的思考能力和图像生成能力,这件事老实说我之前没怎么见过。

对我来讲,最实用的场景是写橙皮书:一章里经常需要「概念 → 概念图 → 解释段落 → 对比图 → 总结」这样的混排。以前要在 LLM 和生图 API 之间来回切,现在 U1 一次就能出整页。

它的真实边界

当然,U1 也不是没有短板。

我让它换种风格,做一张「达尔文.skill」的循环结构图。这次要的是技术蓝图风、深色背景、循环箭头加 8 个评分维度环绕。它出来是这样:


有几件事值得说一下。

这张图跟前面女娲那张的 Anthropic 编辑风完全是两套体系。同一个模型能在不同风格之间切换,说明训练语料的数据还挺丰富,这也意味着它更有机会执行不同需求的人物。很多模型有强烈的默认风格倾向,怎么都掰不出来。

文字渲染也挺让我意外。这种环形排列还能基本不出错,挺难得的。我之前用别的模型试过类似layout,文字常常错位。

不过 U1 也确实有少量错字。比如让它写 Karpathy 这个名字,它会写成 Karpthy;让它写「蒸馏」的「馏」,常常写成「漓」。这些都是 prompt 工程可以绕开的小问题,把 Karpathy 改成「卡帕西」、把「蒸馏」改成「提炼」就行。

但这些边界相对都不致命。真正重要的是它让我能用一个 8B 的开源模型,在本地跑出可以直接用的书籍级配图。这件事两个月前我都不敢想。

这个模型适合谁、适合什么场景

那 U1 真正适合谁用?我自己想了下,几个最直接的场景:

自媒体和独立创作者。每天要出文章配图、信息图、海报,U1 的速度让「试 10 个版本选 1 个」变成可行的工作流,试错成本接近零。

有数据敏感性的行业:医疗、金融、法务,或者做内部知识库、内部培训材料的团队。本地部署最大的好处就是内部数据不上云,闭源 API 在这些场景下直接是 deal-breaker。

Agent 长链路场景。一个任务要生成 10-50 张图(教程、报告、绘本、漫画都可能),调 GPT-Image-2 走 API 不仅贵还慢,U1 跑本地几乎零成本,就让这种链路真的能跑通。

商汤自己也提了一嘴,下一步会把 U1 接入「办公小浣熊」。这其实就是上面这些场景的产品化路径。

怎么上手

想试的话,有几个入口:

  • 在线体验:sensenova.sensetime.com(每天 5 小时、1500 次的免费配额)

  • 开源代码:github.com/OpenSenseNova/SenseNova-U1

  • HuggingFace:huggingface.co/collections/sensenova/sensenova-u1

模型本身 8B,对硬件要求其实不算高。性能稍好一些的本地机器都能跑得动,不需要专业卡。官方文档里说支持 vLLM 和 sglang,已经在用这些工具的同学应该能很快跑起来。

最近一年,多模态模型的发布我看了不下三十轮,每一轮都在说自己是 SoTA、是颠覆、是革命。U1 这次没说那么多大词,但它把 Visual Encoder 和 VAE 都砍了。这种敢于重新画路线的事,在已开源的多模态模型里其实不常见。

它现在还有边界,错字会有,复杂图表也不绝对稳定。但它给我的体感是:有些场景,确实从这周开始变得不一样了。以及我们完全可以期待他下一阶段的快速进化。

至少,我下一本橙皮书的配图,可能不再需要走 API 了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
万万没想到!特朗普扬言台海有事就炸北京?美军现在还有这个胆吗?就算有,也得先掂量掂量:中国反击的后果,美国真能扛得住?

万万没想到!特朗普扬言台海有事就炸北京?美军现在还有这个胆吗?就算有,也得先掂量掂量:中国反击的后果,美国真能扛得住?

林杰论事
2026-09-20 17:52:15
回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

搞笑娱乐笑话
2026-09-08 13:54:55
48张票提前勾选普京支持的执政党,俄警方介入调查

48张票提前勾选普京支持的执政党,俄警方介入调查

桂系007
2026-09-21 08:58:51
泰勒·斯威夫特看台一个动作,全场懂了:那是我丈夫

泰勒·斯威夫特看台一个动作,全场懂了:那是我丈夫

赴一场山海啊
2026-09-21 09:55:20
英媒:德国总理默茨在两州选举惨败,支持率仅为10%濒临下台

英媒:德国总理默茨在两州选举惨败,支持率仅为10%濒临下台

徐云流浪中国
2026-09-21 12:29:08
一旦爆发战争多少人愿意为国而战?美国44%,日本11%,中国多少

一旦爆发战争多少人愿意为国而战?美国44%,日本11%,中国多少

蜉蝣说
2026-09-20 16:28:28
皇马蒙冤!曝西裁委承认误判,马竞逃过2红牌,皇马官方提出抗议

皇马蒙冤!曝西裁委承认误判,马竞逃过2红牌,皇马官方提出抗议

风过乡
2026-09-21 06:18:55
德国总理再次遭遇两次地方选举惨败后拒辞职:现在需要骨气和耐心

德国总理再次遭遇两次地方选举惨败后拒辞职:现在需要骨气和耐心

正经的烧杯1
2026-09-21 11:51:22
媒体人:杨晨、李金羽等人参与浙江俱乐部总经理竞聘

媒体人:杨晨、李金羽等人参与浙江俱乐部总经理竞聘

懂球帝
2026-09-20 17:47:13
【复盘】阿莫林不再固执,米兰踢出最佳一役

【复盘】阿莫林不再固执,米兰踢出最佳一役

体坛周报
2026-09-21 12:45:25
越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面

越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面

流萤叙情
2025-09-05 18:22:25
马卡:熟悉的穆里尼奥回来了,输掉德比战彻底打破了他的克制

马卡:熟悉的穆里尼奥回来了,输掉德比战彻底打破了他的克制

画夕
2026-09-21 11:15:02
阿圭罗:1.25亿镑的恩佐和8500万镑的加克波,曼城最终选择了前者

阿圭罗:1.25亿镑的恩佐和8500万镑的加克波,曼城最终选择了前者

云隐南山
2026-09-21 07:57:06
公民可以拍摄警察执法吗?

公民可以拍摄警察执法吗?

北京郑律师
2026-09-10 16:04:12
不是迷信!八月十五中秋节,记得:1不去、2不送、3不吵、4要吃!

不是迷信!八月十五中秋节,记得:1不去、2不送、3不吵、4要吃!

简食记工作号
2026-09-21 00:18:37
古特雷斯任满!联合国秘书长换届进入淘汰阶段,亲华候选人退出竞选

古特雷斯任满!联合国秘书长换届进入淘汰阶段,亲华候选人退出竞选

云上乌托邦
2026-09-21 12:07:52
张雨霏夺金!江苏省委省政府向爱知·名古屋亚运会中国体育代表团致贺电

张雨霏夺金!江苏省委省政府向爱知·名古屋亚运会中国体育代表团致贺电

环球网资讯
2026-09-21 08:33:08
4-2横扫张本智和!19岁国乒天才连斩5大世界名将,一战封神

4-2横扫张本智和!19岁国乒天才连斩5大世界名将,一战封神

阿讯说天下
2026-05-30 14:20:24
刚任县书记,立即调整干部,政协主席公开叫板

刚任县书记,立即调整干部,政协主席公开叫板

雾岛夜话
2025-07-28 19:43:58
湾区升明月假唱名单,其中张凌赫最离谱,下意识说谢谢但没有声音

湾区升明月假唱名单,其中张凌赫最离谱,下意识说谢谢但没有声音

芊手若
2026-09-21 02:42:44
2026-09-21 13:48:49
AI进化论花生 incentive-icons
AI进化论花生
AI博主,AppStore付费榜第一的小猫补光灯app开发者
272文章数 129关注度
往期回顾 全部

科技要闻

吃AI红利的凡人,年薪10万美元,每天3万步

头条要闻

男子补路拉绳警示致农妇遭勒颈身亡 双方达成赔偿和解

头条要闻

男子补路拉绳警示致农妇遭勒颈身亡 双方达成赔偿和解

体育要闻

爵士建仓阶段已经完成?

娱乐要闻

76岁站上红馆开唱,谭咏麟说回馈歌迷

财经要闻

机器人IPO门槛收紧?能否商业闭环成考量

汽车要闻

7年70万辆 新红旗HS5焕新升级,这次变在哪?

态度原创

游戏
家居
时尚
数码
公开课

IGN10分《火纹》新作全剧情需120h!全收集会更多

家居要闻

2026建博会(广州) 公装联探展交流活动

初秋衬衫别总穿白色,看看这几款牛仔衬衫,减龄百搭又时尚

数码要闻

装机党哭晕!内存涨完显示器涨:电竞屏均价涨到1168元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版