做AI工具的人都在往云上跑,OpenSearch反着来:所有推理、索引、搜索全在本地跑,一个字节都不出机器。这个项目在Hacktoberfest开源AI挑战赛第二周提交,定位是给自由职业者、开发者、法律顾问、研究员和小型代理机构创始人用的桌面智能助手。
![]()
它要解决的是两个具体麻烦。一是隐私与合规墙:这些人手里有客户的代码库、保密合同、财务表格和专有笔记,受保密协议和数据驻留法规约束,不能上传到OpenAI或Anthropic这类第三方云API。二是上下文碎片化:架构决策、终端命令、凭证散落在文件夹、markdown笔记和剪贴板历史里,找不回来。
本地跑,靠什么撑住
核心难点是让每个功能都在用户硬件上完成,不向外部服务器发数据。项目没有用远程向量数据库,而是把本地文档切块,用@huggingface/transformers生成384维稠密向量,存进一个轻量本地索引(userData/index.json)。查询时做余弦相似度加关键词评分的混合检索,官方给出的数字是5毫秒以内。
嵌入模型用的是all-MiniLM-L6-v2,通过ONNX Runtime Web在本地运行。本地大模型引擎接的是Ollama,支持SmolLM2-360M、Llama 3.2-1B、Qwen 2.5这类开放权重模型。文档和PDF解析用pdf-parse,可以现场抽取评分标准和PDF简报。
技术栈是Electron 34加TypeScript和electron-vite,前端React 19,跑在macOS、Linux、Windows三个平台上,快捷键Alt + Shift + Space唤起。
记忆引擎怎么落地
决策与任务提取走双模式。一条是确定性回退解析器,用正则和模式分析抓显式的TODO、FIXME、截止日期格式和决策记录;另一条是可选的本地LLM管线,把复杂的自然语言笔记结构化成带置信度评分和原文摘录核验的可执行任务。
规划器把PDF、Markdown和文本文件读进来,按需求、实现、验证三个阶段排出交付物,绑定到可交互的月历和里程碑时间线上,一键打勾完成并同步到本地存储,另配一个常驻草稿本记会议和评分标准笔记。
剪贴板记忆会持续监控复制内容,但内置熵值和模式扫描器,在保存前自动识别并跳过敏感令牌,包括Stripe密钥、AWS访问ID、RSA私钥和连接字符串。
每天早上还会生成一份项目简报,带速度评分、意图设定和本地文本转语音朗读。
谁掏钱
商业模式分两层:开源核心应用免费;Pro档29美元/席位/月,或99美元永久授权,解锁自定义离线模型包、自动化客户审计报告和加密多设备同步。自由职业者可以把它作为客户数据合规的正当业务支出报销。
支撑这套定价的逻辑是成本结构。云AI API按token计费,费用随文档规模上涨,一个要索引几百页PDF和代码仓库的自由职业者,云成本很快变得难以承受;本地开源模型在现有笔记本的CPU和GPU上跑,不产生这部分开销。另一层是韧性:飞机上、偏远地点、气隙企业防火墙后面,搜索和智能功能都不中断。
项目方的说法是,用开放权重模型意味着权重、推理和数据都归自己,没有公司能改服务条款、拿专有代码训练或撤销API访问。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.