网易首页 > 网易号 > 正文 申请入驻

牛仔裤被认成夹克,他把识别准确率从55%拉到77%

0
分享至

一条牛仔裤,被StyleCast归进了夹克类。这是开发者用自己手机拍下的第一件衣服,也是整个项目最有价值的一次翻车。


StyleCast是一个跑在手机浏览器里的AI穿搭规划器,为DEV Hacktoberfest 2026开源AI挑战赛第二周"副业"主题而做。它的逻辑很朴素:拍一次衣柜,之后每天早上从自己的衣服里挑一套,匹配真实天气预报。

但第一版差点走进死胡同。项目最初是一个Python服务器,通过Ollama调用Qwen2.5-VL,搭配效果不错,可每个用户都得先装Ollama、拉一个6 GB的模型,才能看到第一套搭配。第二天,这套方案被整个推翻,AI被搬进了浏览器。

浏览器里跑模型,靠什么撑住

衣物打标用的是CLIP ViT-B/32,经Transformers.js在设备本地运行,笔记本走WebGPU,手机走WebAssembly。预算对话由Gemma 3 1B承担,没有WebGPU的设备降级到Gemma 3 270M,跑在web worker里。天气数据来自免费的Open-Meteo,无需密钥,直接从浏览器调用。衣柜和照片存在浏览器的IndexedDB中。

CLIP并不像聊天模型那样描述照片,它把照片和一组描述逐一比对,挑出最接近的那个。对"这是什么类型的衣服"这个问题,这已经够用,而且小到能在手机上跑。至于搭配本身,交给纯JavaScript规则:先看天气,再看场合,最后避开最近穿过的。

开发者的原话是,不需要一个模型来告诉他正在下雨。

三个问题,一次修完

牛仔裤的误判没有靠改提示词碰运气。他写了一个评分脚本,让打标器跑过272张带标签的商品图,并接入CI,每次改动打标器的PR都会触发。脚本挖出三个问题:

  • 标签太懒。CLIP拿照片去匹配"一张牛仔裤的照片",没有别的线索,只能靠颜色和面料判断,蓝色牛仔布看起来就像牛仔夹克。现在每种类型都配了几条平实描述,比如"一条牛仔裤""蓝色牛仔牛仔裤""有两条裤腿的牛仔长裤"。
  • 中心裁剪。CLIP会裁成正方形,把牛仔裤这类竖长照片拦腰截断。现在改为填充成正方形。
  • 省内存的捷径反而伤了准确率。手机原本用8位模型省内存,现在换成16位,分两半加载,先文本后图像,以塞进手机内存。

三项修完,同一批272张照片上的结果:手机端衣物类型识别从55%升到77%,大类(上装、下装、鞋等)从90%升到93%;笔记本端类型识别从72%升到77%,大类从92%升到93%。

代价是手机首次下载从约150 MB涨到约300 MB,之后浏览器会缓存。

预算对话怎么不烧钱

问一句"我有50欧元,该买什么",流程是这样的:设备上的Gemma读取衣柜和规则找出的缺口,规划最多三次搜索;只有简短查询词(比如"雨衣")和价格上限会发到Render上的小服务器,那里保管SerpApi密钥,每次搜索缓存六小时,并按IP和按天限制搜索次数。规则从每次搜索里挑一件商品,保证总价不超预算,Gemma再写一句话说明每件为什么合适。

如果用户直接点名商品("20以下的鞋"),就跳过规划直接搜。如果Gemma在设备上加载失败,规则接手规划搜索并给出朴素解释,对话照样能用。

还有一个浏览器跑模型的坑:首次加载失败可能让ONNX Runtime在页面余下生命周期里一直坏着。现在每次模型尝试都开一个全新的web worker,WebGPU失败不会拖垮WebAssembly回退。

开源模型撑起一个2欧元订阅

在开发者看来,这个副业成立的前提是模型开源。隐私上,没人愿意把卧室衣柜的照片传到陌生服务器,模型跑在浏览器里,照片不离开手机,托管视觉API给不了这个承诺。成本上,闭源API按张按条计费,开源权重跑在用户设备上不花他一分钱,这才让2欧元的订阅算得过来。离线可用,模型下载后打标和选衣无需联网,最后一次预报会存下来应对信号差的早晨。可修可换,CLIP认错牛仔裤时能进去改标签、改预处理、比精度、量化每次改动;Gemma 1B在弱设备上降到270M,仓库里还有对比CLIP与SmolVLM的测试页。

项目是静态站点,无构建步骤,MIT许可,npm test覆盖搭配规则、预算对话和购物服务器,CI在每个PR上跑。首批用户是两位朋友,用安卓手机拍下自己的衣服,结果都对,评价是"不错,但还能更好"。开发者认这个评价——项目才几天大,反馈就是下一版的内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩国男演员承认与韩安冉恋情!前几天还传将和宋浩然复合

韩国男演员承认与韩安冉恋情!前几天还传将和宋浩然复合

东方不败然多多
2026-10-19 09:29:53
钧正平:为军国主义张目是对人类良知的公然冒犯

钧正平:为军国主义张目是对人类良知的公然冒犯

看看新闻Knews
2026-10-18 23:32:00
命里有时终须有,命里无时莫强求。广州业主23年950万卖掉137方三房,26年买家断供房子法拍只值500万,银行希望他能半价买回去

命里有时终须有,命里无时莫强求。广州业主23年950万卖掉137方三房,26年买家断供房子法拍只值500万,银行希望他能半价买回去

捣蛋窝
2026-10-18 06:55:22
国产手机集体降价,力度有点大啊!

国产手机集体降价,力度有点大啊!

果粉俱乐部
2026-10-17 13:55:06
1.2亿粉丝亲手注销、从6.5万粉重新开始:三只羊大小杨哥"换马甲"复播,观众两天就投了票

1.2亿粉丝亲手注销、从6.5万粉重新开始:三只羊大小杨哥"换马甲"复播,观众两天就投了票

商道童言
2026-10-19 07:22:41
尊界出具的这份报告,触碰到了中国车圈最深的障碍

尊界出具的这份报告,触碰到了中国车圈最深的障碍

刘远举
2026-10-18 14:04:11
看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

怪味历史连连看
2026-07-01 14:49:12
你信与不信,男性过了65,基本没有如下3个方面的需求

你信与不信,男性过了65,基本没有如下3个方面的需求

荔子言
2026-10-19 10:30:33
7:1只是谣传?中方承认歼-16与阵风存在差距,演习赢得并不轻松

7:1只是谣传?中方承认歼-16与阵风存在差距,演习赢得并不轻松

利刃号
2026-10-16 19:29:08
韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

韦斯特被问是否与詹姆斯母亲发生过关系,回:绅士从不说这些

陈意小可爱
2026-10-19 01:12:39
海港展现公平竞赛精神!武磊霸气发声:不希望蓉城在我们主场庆祝

海港展现公平竞赛精神!武磊霸气发声:不希望蓉城在我们主场庆祝

风过乡
2026-10-18 23:17:45
格拉斯纳:这样的结果很难接受而且似曾相识,有些不公平

格拉斯纳:这样的结果很难接受而且似曾相识,有些不公平

懂球帝
2026-10-19 02:58:05
体制内外退休金的巨大差距引起老百姓的很大不满!

体制内外退休金的巨大差距引起老百姓的很大不满!

逍遥论经
2026-10-08 14:57:40
袁文婷,四川什邡人,1982年9月6日出生

袁文婷,四川什邡人,1982年9月6日出生

普陀动物世界
2026-10-19 08:05:26
机关事业退休全部补贴明细、职级、年龄、标准一次性讲清楚

机关事业退休全部补贴明细、职级、年龄、标准一次性讲清楚

娱乐洞察点点
2026-10-18 17:35:56
他刚入行就被30个剧组拒绝,得了焦虑症待业在家1年,如今爆红了

他刚入行就被30个剧组拒绝,得了焦虑症待业在家1年,如今爆红了

追影客栈
2026-10-18 16:58:34
A330客改货:货舱大了16%,到底能多装多少货?

A330客改货:货舱大了16%,到底能多装多少货?

平流层散步者
2026-10-19 10:22:12
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
细思极恐!梅艳芳骨灰被盗真相曝光,窃贼逃去东南亚,网友揪心

细思极恐!梅艳芳骨灰被盗真相曝光,窃贼逃去东南亚,网友揪心

东方不败然多多
2026-10-19 07:10:18
吃着中国饭砸中国碗!娶中国妻子赚亿万身家,背地里干着反华勾当

吃着中国饭砸中国碗!娶中国妻子赚亿万身家,背地里干着反华勾当

黄色的泥土
2026-10-10 22:14:06
2026-10-19 11:24:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
190文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

上海阿姨心疼保险业务员离异带娃 结果5年被转走200万

头条要闻

上海阿姨心疼保险业务员离异带娃 结果5年被转走200万

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

三季度GDP,同比增长4.5%

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

艺术
本地
数码
旅游
公开课

艺术要闻

17幅 国外画家的静物与人物油画

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

数码要闻

RTX Spark装进16英寸翻转本 微星尊爵N16 Flip AI+ 2026体验

旅游要闻

山东青岛:红海滩浓墨重彩尽显生态美丽

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版