网易首页 > 网易号 > 正文 申请入驻

6MB小工具跑本地Gemma,一份教案却要等9分钟

0
分享至

一个瑜伽老师,每周独自上六节45分钟的课,课后还要写进度记录、发跟进邮件、编周报。这些活儿全落在晚上。有人给她做了个桌面应用,把这三件事交给跑在自己笔记本上的Gemma。


应用叫Saathi,通过Ollama在本地调用Gemma,打包成6 MB的原生Mac应用。它不联网,学生的伤病记录不出这台机器。

为什么非要本地跑?这位老师的学生档案里存着每个人的年龄段、经验、目标和伤病手术史。这些恰恰是排一堂安全课最有用的输入,也是最不该粘进在线聊天机器人的东西。作者替她做过预约网站,清楚数据库里有什么。

功能分三块。课前,选好今晚的课和到课学生,Saathi用梵文和英文起草序列,并为每个有伤或做过手术的学生单独写提示:避开哪些体式、给什么替代动作,依据是本人的实际状况。课后,输入几句随手记,它给每个学生写一条进度日志,再以老师的口吻起草一封简短的跟进邮件——从不自己发送。周报环节,它把一周笔记变成通讯稿草稿,不出现学生姓名,也不提任何健康细节。

技术栈是Tauri 2外壳加React和TypeScript前端,Ollama在localhost上服务Gemma,应用调用/api/chat并在format字段里塞JSON schema,让Ollama约束输出,直接拿回结构化数据而不是待解析的文本。SQLite经Tauri SQL插件存在老师自己的磁盘上。学生可以从她现有预约库的students表直接导入,也能手动添加。

作者列了几条踩坑记录。Gemma 4默认会"思考",第一次调用返回空回复,因为token预算全花在隐藏推理上,传think: false才解决。schema只有堵住漏洞才算契约:第一版计划时长对、每人提示也对,但每个区块的poses列表都是空的,因为schema允许为空,加上minItems: 2并写明每个区块必须包含什么才修好。schema里属性的顺序就是生成顺序,他把每个学生的提示挪到最前面,老师最关心的部分最先出现。还有一次切标签页,请求在后台继续跑,第二次点击排在它后面,现在应用让每个界面保持挂载、流式输出,并加了能中止请求的Stop按钮。

代价也很直白。在16 GB的M1 Pro上,Gemma的生成速度大约是每秒2到4个token。不开流式,一份完整计划要盯着转圈约六分钟;开了流式,第一批提示大约一分钟后出现,计划边写边填,但作者计时的最后一份三人计划仍花了9分11秒。托管API几秒就能答完。

输出也有毛边。区块加起来是40分钟,不是要求的45分钟——schema能强制字段存在,强制不了求和。有个膝关节炎的学生,提示里说避开战士二式和三角式,序列里却把这两个都作为椅子变体排了进去。作者说这勉强算替代动作,但读起来像自相矛盾,所以每份计划都写明安全由老师最终判断。

成本账是这么算的:她的第一节课收费10加元,按token计费、每份计划和每封邮件都累加的账单,对一周教六节课的人来说不是好生意。本地推理只花电费,两份完整计划让作者的电池从94%掉到92%。模型本身是个设置项:默认的gemma4:e4b有9.5 GB,对16 GB笔记本太重,换成6 GB的e4b-it-qat,应用里其他东西一行没改。下个月有更好或更小的开源模型,换上去就行;想让它更像自己说话,声音存在一段可编辑的提示词里,将来还能用自己的通讯稿做微调,不用问谁许可。

隐私在这里是结构性的,不是承诺出来的。学生的伤病不离开这台机器,没有服务器可被攻破,没有厂商隐私政策要读,一人工作室也不用签数据处理协议。对加拿大的健康信息来说,这比"我们发给API但保证不滥用"好谈得多。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩国双胞胎姐妹,一个嫁到中国一个嫁到日本,5年后生活相差很大

韩国双胞胎姐妹,一个嫁到中国一个嫁到日本,5年后生活相差很大

白云故事
2025-08-12 10:50:04
1米84打不了欧美?庄宇珊在土超把瓦基弗银行的主场打沉默了

1米84打不了欧美?庄宇珊在土超把瓦基弗银行的主场打沉默了

林子说事
2026-10-19 01:43:45
都2026年了,为什么那么多人宁愿排队扫码,都不用NFC支付?

都2026年了,为什么那么多人宁愿排队扫码,都不用NFC支付?

人间无味啊
2026-10-17 18:11:20
米卢:当年避开伊朗让出线少了很多麻烦;我对中国足球有信心

米卢:当年避开伊朗让出线少了很多麻烦;我对中国足球有信心

懂球帝
2026-10-19 11:28:08
没想到,红婵重返跳水赛场仅3天,搭档陈芋汐因一个举动口碑暴涨

没想到,红婵重返跳水赛场仅3天,搭档陈芋汐因一个举动口碑暴涨

生命之泉的奥秘
2026-10-19 05:43:48
胡塞只打两个地方?短短十几天的时间,沙特或将退到国将不国

胡塞只打两个地方?短短十几天的时间,沙特或将退到国将不国

老斉科普君
2026-10-17 22:34:10
床笫之欢,别读成了“床dì之欢”,太丢人!

床笫之欢,别读成了“床dì之欢”,太丢人!

语丝纪
2026-10-04 07:11:30
申花赢球 中超四队:谢谢!

申花赢球 中超四队:谢谢!

五星体育
2026-10-18 20:54:05
越南北越人与南越人,互相看不惯,长相有差异,难道不是同一个人种?

越南北越人与南越人,互相看不惯,长相有差异,难道不是同一个人种?

言过于诚
2026-10-16 16:48:21
44岁姚笛独自在杭州豪宅家中煮泡面,眼神中难掩落寞

44岁姚笛独自在杭州豪宅家中煮泡面,眼神中难掩落寞

追影客栈
2026-10-03 16:08:17
1991年李瑞环视察华西村,吴仁宝陪着走,到了荣誉室的一张肖像前,李瑞环停下脚步看了好一会

1991年李瑞环视察华西村,吴仁宝陪着走,到了荣誉室的一张肖像前,李瑞环停下脚步看了好一会

史源观点
2026-10-16 20:44:15
“没业绩就要去KTV‘陪大哥’。”女主播自曝团播乱象:下播后“写100条作业”,痛经痛到吃药上播,直呼“再也不想干了,老板翻脸太快”

“没业绩就要去KTV‘陪大哥’。”女主播自曝团播乱象:下播后“写100条作业”,痛经痛到吃药上播,直呼“再也不想干了,老板翻脸太快”

芒果都市
2026-10-16 11:29:34
华为版"保时捷"来了:"实力碾压"小米YU7,余承东竟没剧透?

华为版"保时捷"来了:"实力碾压"小米YU7,余承东竟没剧透?

大厂财经社
2026-10-17 12:17:41
震惊!宜宾女子情绪失控砸毁价值30万老酒,被送医等待司法精神鉴定,评论区一片“老板发财了”

震惊!宜宾女子情绪失控砸毁价值30万老酒,被送医等待司法精神鉴定,评论区一片“老板发财了”

火山詩话
2026-10-19 12:16:49
佩洛西质问:特朗普有何把柄抓在俄国人手里?

佩洛西质问:特朗普有何把柄抓在俄国人手里?

名人苟或
2026-10-19 16:02:41
南京大学原党委副书记焦瑞华已任江苏省委组织部副部长

南京大学原党委副书记焦瑞华已任江苏省委组织部副部长

TOP大学来了
2026-10-19 10:47:39
超强台风“蔷琵”奔向浙闽台?最新路径公布!温州天气大转折,降温、降雨、大风…...

超强台风“蔷琵”奔向浙闽台?最新路径公布!温州天气大转折,降温、降雨、大风…...

温州消防
2026-10-19 14:58:17
看了《玉簟秋》看田曦薇《嫁金钗》,只想说:女演员还是得看演技

看了《玉簟秋》看田曦薇《嫁金钗》,只想说:女演员还是得看演技

剧芒芒
2026-10-19 14:28:03
丑男导演的天价封口费!

丑男导演的天价封口费!

八卦疯叔
2026-10-19 10:15:53
俄军喷气动力无人机猛增6倍!时速500公里碾压乌军拦截系统,90%拦截率被砍到60%

俄军喷气动力无人机猛增6倍!时速500公里碾压乌军拦截系统,90%拦截率被砍到60%

可达鸭面面观
2026-10-16 21:47:08
2026-10-19 17:03:00
码上闲叙
码上闲叙
有态度网友ytd
211文章数 102关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

男子称入狱20多天被贷款、转走超38万 报警1年多无进展

头条要闻

男子称入狱20多天被贷款、转走超38万 报警1年多无进展

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

数码
本地
时尚
教育
公开课

数码要闻

11.11 信仰价到!ROG玩家国度爆款游戏本享千元优惠再叠国补

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

重阳寻香:一炉香,一枚囊,她们以手传香

教育要闻

新华视点|校园焕彩 文脉新生

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版