网易首页 > 网易号 > 正文 申请入驻

数据不敢上云,他把AI塞进本地:搜索5毫秒

0
分享至

做AI工具的人都在往云上跑,OpenSearch反着来:所有推理、索引、搜索全在本地跑,一个字节都不出机器。这个项目在Hacktoberfest开源AI挑战赛第二周提交,定位是给自由职业者、开发者、法律顾问、研究员和小型代理机构创始人用的桌面智能助手。


它要解决的是两个具体麻烦。一是隐私与合规墙:这些人手里有客户的代码库、保密合同、财务表格和专有笔记,受保密协议和数据驻留法规约束,不能上传到OpenAI或Anthropic这类第三方云API。二是上下文碎片化:架构决策、终端命令、凭证散落在文件夹、markdown笔记和剪贴板历史里,找不回来。

本地跑,靠什么撑住

核心难点是让每个功能都在用户硬件上完成,不向外部服务器发数据。项目没有用远程向量数据库,而是把本地文档切块,用@huggingface/transformers生成384维稠密向量,存进一个轻量本地索引(userData/index.json)。查询时做余弦相似度加关键词评分的混合检索,官方给出的数字是5毫秒以内。

嵌入模型用的是all-MiniLM-L6-v2,通过ONNX Runtime Web在本地运行。本地大模型引擎接的是Ollama,支持SmolLM2-360M、Llama 3.2-1B、Qwen 2.5这类开放权重模型。文档和PDF解析用pdf-parse,可以现场抽取评分标准和PDF简报。

技术栈是Electron 34加TypeScript和electron-vite,前端React 19,跑在macOS、Linux、Windows三个平台上,快捷键Alt + Shift + Space唤起。

记忆引擎怎么落地

决策与任务提取走双模式。一条是确定性回退解析器,用正则和模式分析抓显式的TODO、FIXME、截止日期格式和决策记录;另一条是可选的本地LLM管线,把复杂的自然语言笔记结构化成带置信度评分和原文摘录核验的可执行任务。

规划器把PDF、Markdown和文本文件读进来,按需求、实现、验证三个阶段排出交付物,绑定到可交互的月历和里程碑时间线上,一键打勾完成并同步到本地存储,另配一个常驻草稿本记会议和评分标准笔记。

剪贴板记忆会持续监控复制内容,但内置熵值和模式扫描器,在保存前自动识别并跳过敏感令牌,包括Stripe密钥、AWS访问ID、RSA私钥和连接字符串。

每天早上还会生成一份项目简报,带速度评分、意图设定和本地文本转语音朗读。

谁掏钱

商业模式分两层:开源核心应用免费;Pro档29美元/席位/月,或99美元永久授权,解锁自定义离线模型包、自动化客户审计报告和加密多设备同步。自由职业者可以把它作为客户数据合规的正当业务支出报销。

支撑这套定价的逻辑是成本结构。云AI API按token计费,费用随文档规模上涨,一个要索引几百页PDF和代码仓库的自由职业者,云成本很快变得难以承受;本地开源模型在现有笔记本的CPU和GPU上跑,不产生这部分开销。另一层是韧性:飞机上、偏远地点、气隙企业防火墙后面,搜索和智能功能都不中断。

项目方的说法是,用开放权重模型意味着权重、推理和数据都归自己,没有公司能改服务条款、拿专有代码训练或撤销API访问。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
28.58万!长城新车官宣:10月19日,开启预订!

28.58万!长城新车官宣:10月19日,开启预订!

科技堡垒
2026-10-18 10:10:51
“太窒息了,我要是孩子直接跳了”,一顿廉价早餐,让母亲发小作文

“太窒息了,我要是孩子直接跳了”,一顿廉价早餐,让母亲发小作文

熙熙说教
2026-10-12 13:43:52
同样是大牌,为何梅西让迈阿密估值翻倍,C罗却让胜利背巨债?

同样是大牌,为何梅西让迈阿密估值翻倍,C罗却让胜利背巨债?

林子说事
2026-10-19 05:55:42
外媒:接到炸弹威胁,一架以色列飞奥地利客机在保加利亚紧急降落

外媒:接到炸弹威胁,一架以色列飞奥地利客机在保加利亚紧急降落

环球网资讯
2026-10-19 09:00:31
记者假扮俄军工买家,一开口要500台,中国公司开价1950万元

记者假扮俄军工买家,一开口要500台,中国公司开价1950万元

桂系007
2026-10-15 16:31:21
全军最难管的开国上将,谁劝都不听,一生只服陈赓一人

全军最难管的开国上将,谁劝都不听,一生只服陈赓一人

纪史行者
2026-09-24 06:10:03
明明中国的人均收入很低,但为啥老百姓的生活比发达国家都要好?

明明中国的人均收入很低,但为啥老百姓的生活比发达国家都要好?

李健政观察
2026-10-18 10:32:07
农村党员开展全面排查,这7类人纳入重点核查范围

农村党员开展全面排查,这7类人纳入重点核查范围

呼呼历史论
2026-10-19 09:48:09
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

陈意小可爱
2026-10-19 11:32:34
未来国足边锋强得可怕!李昊炎3场轰6球,布尼亚明昨晚中超再度爆发

未来国足边锋强得可怕!李昊炎3场轰6球,布尼亚明昨晚中超再度爆发

林子说事
2026-10-19 06:54:09
历史第一,梅西连续三个赛季在美职联制造124球,断层领先

历史第一,梅西连续三个赛季在美职联制造124球,断层领先

懂球帝
2026-10-18 12:04:10
“楼板都快压塌了!”沪上居民家中30桶2吨重隐患,所有人都慌了

“楼板都快压塌了!”沪上居民家中30桶2吨重隐患,所有人都慌了

听风喃
2026-10-17 17:47:44
国企工作现状:10%的在干,30%的在看,剩下的人在捣乱!

国企工作现状:10%的在干,30%的在看,剩下的人在捣乱!

职场资深秘书
2026-10-19 09:09:18
金融改革闯将关广富:原拟提副省长,后被中央直接任命为省委书记

金融改革闯将关广富:原拟提副省长,后被中央直接任命为省委书记

小陆搞笑日常
2026-10-19 07:50:44
审核时人畜无害,过审后变身"脱衣"工具:苹果堵死这条路

审核时人畜无害,过审后变身"脱衣"工具:苹果堵死这条路

Ping值焦虑
2026-10-18 03:01:26
叫停“极端报价”!7.4元止血夹被点名

叫停“极端报价”!7.4元止血夹被点名

医疗器械经销商联盟
2026-10-17 14:20:00
商标落定!小米行政豪华车SU9 LUX要来了?

商标落定!小米行政豪华车SU9 LUX要来了?

鞭牛士
2026-10-19 09:00:10
“所有办公人员即日起不得前往办公室”,沙特一栋超300米高地标建筑,发强制要求

“所有办公人员即日起不得前往办公室”,沙特一栋超300米高地标建筑,发强制要求

南方都市报
2026-10-18 23:21:11
女子在四川一酒馆内砸毁约30万元五粮液等年份酒,店门口众人围观无人劝阻;涉事女子疑因在隔壁理发店剪发不顺情绪失控,案件交由警方处理

女子在四川一酒馆内砸毁约30万元五粮液等年份酒,店门口众人围观无人劝阻;涉事女子疑因在隔壁理发店剪发不顺情绪失控,案件交由警方处理

蓬勃新闻
2026-10-18 16:46:06
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
2026-10-19 12:12:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
190文章数 98关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国留学生在莫斯科大学课堂身披旭日旗 本人鞠躬道歉

头条要闻

中国留学生在莫斯科大学课堂身披旭日旗 本人鞠躬道歉

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

三季度GDP,同比增长4.5%

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

亲子
家居
本地
公开课
军事航空

亲子要闻

让孩子学搏击,不是教会孩子暴力,而是让孩子更加勇敢有担当

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版