9B模型塞进8GB显卡，他试完开始重算Claude订阅账

他用一块六年前买的 RTX 3070，8GB 显存，跑起了一个名字里带 Claude 的 9B 模型。跑完之后，他回头翻了自己几周的聊天记录，开始重新算一笔账：Claude Pro 到底值不值。

结论先摆出来：日常那些"帮我解释一下""帮我理一理"的活儿，本地这个模型能接住一大块；但写代码和做设计，还是得回到 Claude。

一个名字很大的小模型

这个模型叫 Qwythos 9B，来自一家叫 Empero AI 的实验室，免费，属于推理模型——回答前会先在单独的块里把问题想一遍，跑模型的工具一般允许你把这个思考开关打开或关掉。他跑的是 v2 版本，是初版发布后清理过的版本，顺带修掉了第一版爱重复同一句话的毛病。

底座是阿里 Qwen 团队 3 月发布的小模型 Qwen3.5 9B，本来就能处理图像和长文档。Empero 在此基础上，用超过 5 亿 token 的 Claude Mythos 和 Claude Fable 对话做了训练。Fable 5 和 Mythos 5 是同一个 Anthropic 模型，Mythos 只发给一小批通过审核的合作伙伴。

不过训练用的逐步推理内容，其实是 Empero 自家工具 rethink 写的。所以"Claude"那部分更多是风格，不是照搬思考过程。Empero 也没说 Mythos 的数据是怎么拿到的。考虑到 Anthropic 一直公开表态要打击抓取 Claude 回答来训练自家模型的实验室，这件事目前没有干净的答案。

Empero 把它定位在数学、科学、医学解释和网络安全，并且刻意不做审查。编码能力比底座 Qwen 差一些，Empero 自己也承认，在没有联网搜索的情况下，它会很自信地把事实说错。

8GB 显卡上的实际表现

他通过 LM Studio 下载了 Qwythos v2 的 Q4_K_M 量化版，体积略低于 7GB，剩下的空间够跑 1 万到 3 万上下文，具体看卸载多少层。速度大约 20 到 22 token/秒，多数回答不到一秒就开始出字，和他常用的 Gemma 4 E4B、Qwen 3.5 9B 差不多。

能塞得这么舒服，跟 Qwen 3.5 的结构有关：多数模型在每个块里都保留对话的运行记忆，聊得越长越吃显存；Qwen 3.5 只在四分之一的块里这么做，其余块用固定大小的记忆。所以他这边轻松跑到 14k 上下文，而卡上那 100 万 token 的能力，本来是给服务器硬件准备的。

拿它顶 Claude 的日常活儿

他平时用 Claude，主要是"给我解释这个"和"帮我理清这个"，测试就从这儿开始。

• 第一题是带堵车条件的出行时间谜题。关掉思考，Qwythos 一步步算下来，不到一秒给出正确答案"9:12 出发"。不过它忽略了他问题开头写的另一个出发时间，直接顺着自己的思路走了。
• 打开思考后，解释类回答更好。他问咖啡为什么会让人犯困，模型想了 28 秒，给出了准确的过程说明。关掉思考会松一些：一篇本地 AI 入门解释超了字数，比喻里先把 GPU 叫图书馆，后面又把它说成看书的那个人。
• 时效信息是小体积离线模型常翻车的地方。他问 LM Studio 最新版本，模型老实回答自己没有联网，而不是编一个。要拿到实时事实，得通过 MCP 之类给它接上网络。底座 Qwen3.5 9B 在测试工具调用能力的 BFCL-V4 上得分 66.1%，Empero 称 Qwythos 在能联网时，自家七道测试题全部答对。他接上 Brave Search 的 MCP 后，问题一次就答对了。
• 视觉是最不稳的一项，这说得通，因为 Empero 从没训练或测试过这块。他给了一张自己设计的应用截图要反馈，建议不算差，但很泛，有几条读起来像在猜。

哪些该留在本地，哪些该送上云

他的判断是：逻辑题和解释类的小事，Qwythos 能接下一大块。这个模型他会一直留在电脑上，甚至预见到自己会冷落一阵 Gemma——解释类任务他平时最先想到的就是 Gemma。把这些基础活儿从 Claude 分流到 Qwythos，也能帮他省下速率限制的额度。

但编码和设计它撑不住，这两类任务还是得交给 Claude。至于他付 Claude Pro 的钱，很大一部分其实买的是桌面端功能，比如 Projects、Artifacts，以及最近的 Claude Docs，而这些可以用 AnythingLLM 之类的本地工具替代——他也打算把 Qwythos 接进 AnythingLLM，把工作区功能拿回来一些。