网易首页 > 网易号 > 正文 申请入驻

数据不敢上云,他把AI塞进本地:搜索5毫秒

0
分享至

做AI工具的人都在往云上跑,OpenSearch反着来:所有推理、索引、搜索全在本地跑,一个字节都不出机器。这个项目在Hacktoberfest开源AI挑战赛第二周提交,定位是给自由职业者、开发者、法律顾问、研究员和小型代理机构创始人用的桌面智能助手。


它要解决的是两个具体麻烦。一是隐私与合规墙:这些人手里有客户的代码库、保密合同、财务表格和专有笔记,受保密协议和数据驻留法规约束,不能上传到OpenAI或Anthropic这类第三方云API。二是上下文碎片化:架构决策、终端命令、凭证散落在文件夹、markdown笔记和剪贴板历史里,找不回来。

本地跑,靠什么撑住

核心难点是让每个功能都在用户硬件上完成,不向外部服务器发数据。项目没有用远程向量数据库,而是把本地文档切块,用@huggingface/transformers生成384维稠密向量,存进一个轻量本地索引(userData/index.json)。查询时做余弦相似度加关键词评分的混合检索,官方给出的数字是5毫秒以内。

嵌入模型用的是all-MiniLM-L6-v2,通过ONNX Runtime Web在本地运行。本地大模型引擎接的是Ollama,支持SmolLM2-360M、Llama 3.2-1B、Qwen 2.5这类开放权重模型。文档和PDF解析用pdf-parse,可以现场抽取评分标准和PDF简报。

技术栈是Electron 34加TypeScript和electron-vite,前端React 19,跑在macOS、Linux、Windows三个平台上,快捷键Alt + Shift + Space唤起。

记忆引擎怎么落地

决策与任务提取走双模式。一条是确定性回退解析器,用正则和模式分析抓显式的TODO、FIXME、截止日期格式和决策记录;另一条是可选的本地LLM管线,把复杂的自然语言笔记结构化成带置信度评分和原文摘录核验的可执行任务。

规划器把PDF、Markdown和文本文件读进来,按需求、实现、验证三个阶段排出交付物,绑定到可交互的月历和里程碑时间线上,一键打勾完成并同步到本地存储,另配一个常驻草稿本记会议和评分标准笔记。

剪贴板记忆会持续监控复制内容,但内置熵值和模式扫描器,在保存前自动识别并跳过敏感令牌,包括Stripe密钥、AWS访问ID、RSA私钥和连接字符串。

每天早上还会生成一份项目简报,带速度评分、意图设定和本地文本转语音朗读。

谁掏钱

商业模式分两层:开源核心应用免费;Pro档29美元/席位/月,或99美元永久授权,解锁自定义离线模型包、自动化客户审计报告和加密多设备同步。自由职业者可以把它作为客户数据合规的正当业务支出报销。

支撑这套定价的逻辑是成本结构。云AI API按token计费,费用随文档规模上涨,一个要索引几百页PDF和代码仓库的自由职业者,云成本很快变得难以承受;本地开源模型在现有笔记本的CPU和GPU上跑,不产生这部分开销。另一层是韧性:飞机上、偏远地点、气隙企业防火墙后面,搜索和智能功能都不中断。

项目方的说法是,用开放权重模型意味着权重、推理和数据都归自己,没有公司能改服务条款、拿专有代码训练或撤销API访问。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
财政部:9月全国共销售彩票673.89亿元,同比增长27.3%

财政部:9月全国共销售彩票673.89亿元,同比增长27.3%

界面新闻
2026-10-19 15:56:28
人有三不惹:小区里这三类人尽量别起冲突,惹了容易全家不得安宁

人有三不惹:小区里这三类人尽量别起冲突,惹了容易全家不得安宁

辉哥说动漫
2026-10-19 01:40:48
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

浩渺青史
2026-10-17 01:48:48
官方:前国脚杨晨正式出任浙江职业足球俱乐部总经理

官方:前国脚杨晨正式出任浙江职业足球俱乐部总经理

懂球帝
2026-10-19 20:07:10
张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

草莓解说体育
2026-10-19 06:44:09
高市早苗向靖国神社供奉祭品、祭祀费;外交部:严厉谴责日方涉靖国神社消极动向,已提出严正交涉,再次严正要求停止在历史问题上倒行逆施

高市早苗向靖国神社供奉祭品、祭祀费;外交部:严厉谴责日方涉靖国神社消极动向,已提出严正交涉,再次严正要求停止在历史问题上倒行逆施

三湘都市报
2026-10-19 20:09:42
第一眼都没敢认!雷佳音彻底大变样!全网喊话:把陈俊生还回来

第一眼都没敢认!雷佳音彻底大变样!全网喊话:把陈俊生还回来

扬子晚报
2026-10-18 18:39:53
四川多地用硫磺熏制鲜竹笋,严重可损伤肝肾且致癌,去年查获1900公斤仅罚款500元

四川多地用硫磺熏制鲜竹笋,严重可损伤肝肾且致癌,去年查获1900公斤仅罚款500元

界面新闻
2026-10-19 19:02:52
广东宏远想要击败北京队,必须多用三人,少用两人

广东宏远想要击败北京队,必须多用三人,少用两人

南海浪花
2026-10-19 15:44:32
明明中国的人均收入很低,但为啥老百姓的生活比发达国家都要好?

明明中国的人均收入很低,但为啥老百姓的生活比发达国家都要好?

李健政观察
2026-10-18 10:32:07
“李梅烧烤”:烧死近50万人,800万人流离失所,比原子弹还可怕

“李梅烧烤”:烧死近50万人,800万人流离失所,比原子弹还可怕

史之铭
2026-06-12 09:55:26
下场天王山!成都0-3海港继续推迟夺冠,王东升乌龙,武磊破门

下场天王山!成都0-3海港继续推迟夺冠,王东升乌龙,武磊破门

懂球帝
2026-10-18 21:55:58
我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

千秋文化
2026-07-01 20:34:45
为什么西红柿越来越难吃了?科学家研究4年,发现是西红柿变了

为什么西红柿越来越难吃了?科学家研究4年,发现是西红柿变了

云霄纪史观
2026-10-18 12:30:34
那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

LULU生活家
2026-09-25 15:16:25
钱壮飞离奇死亡,66年后研究室揭露真相:他是被人下死手毒害的

钱壮飞离奇死亡,66年后研究室揭露真相:他是被人下死手毒害的

古渡观书
2026-10-19 08:20:50
王曼昱等三人,拟记大功

王曼昱等三人,拟记大功

南方都市报
2026-10-19 19:22:48
破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

星辰生肖馆
2025-03-22 05:10:03
第一个被打破的"铁饭碗",就要出现了!

第一个被打破的"铁饭碗",就要出现了!

职场资深秘书
2026-10-19 11:18:46
2026-10-19 20:52:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
241文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中纪委连打三“虎”

头条要闻

中纪委连打三“虎”

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

教育
时尚
健康
本地
军事航空

教育要闻

重磅!市教委发布!最新中小学生获奖名单出炉

秋天衣服别穿全黑,看看这些卡其色的单品,简单大方又百搭

看着很健康的人,怎么会突然猝死?

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

军事要闻

泽连斯基:若乌“被要求”举行战时选举 他将竞选连任

无障碍浏览 进入关怀版