天津
智猩猩AI整理
编辑：林夕
近日，一款名字里同时带着 DeepSeek 和千问的 9B 小模型，登上了 Hugging Face 模型趋势榜榜首。
榜首版本由社区开发者xtools-at发布。
据模型卡介绍，它基于 Jackrong 的DeepSeek-V4-Pro-Qwen3.5-9B，使用Heretic v2.0.0.dev0进一步调整了模型的拒答行为。
蒸馏工作由 Jackrong 完成。他用DeepSeek V4 Pro生成约 25 万条数学和理工科训练样本，再用这些数据微调阿里开源的 Qwen3.5-9B。
在 Jackrong 的理科测试里，蒸馏后的千问答对了更多题，每答对一题消耗的推理 Token 也少了 36.1%。
到了 xtools-at 的衍生版，拒答次数已经有了对照结果，理科准确率和推理开销还有待用同一套题复测。
两轮改动带来了两份成绩单：先训练的版本，已经测过解题的准确率和开销；登顶的版本，则测出了拒答行为的变化。
01
一款登顶的9B模型，
经历了两次改造
xtools-at 发布的 9B 模型，沿用了 Jackrong 的蒸馏权重。这份权重的来历，要从 DeepSeek V4 Pro 生成的一批解题样本说起。
Jackrong 让拥有 1.6 万亿总参数的DeepSeek V4 Pro在 Max Effect 模式下生成约 25 万条数学和理工科样本。
这些样本记录了从哪里入手、怎么拆解问题、每一步如何推导，以及最后得出了什么答案。
他用这批样本对阿里开源的 Qwen3.5-9B 做监督微调，让这个 90 亿参数的小模型学习 DeepSeek 的解题过程。
随后，Jackrong 又用GSPO做了一轮轻量强化学习。按模型卡的说明，两个阶段都围绕数学和理工科推理展开，均未使用编程数据。
Jackrong 随后公开了训练完成的 9B 权重，xtools-at 就是在这份已经做过理科专项训练的权重上，用 Heretic 进一步调整了模型的拒答行为。
Heretic 的ARA 方法会对比模型处理不同类型提示时的内部激活，找出与拒答行为相关的信号，再修改部分模型层的权重，减弱这些信号对回答的影响。
xtools-at 公布的配置将调整范围设为第 9 层至第 24 层。
接下来看实验结果：Jackrong 的评测记录了蒸馏后理科成绩和推理开销的变化，xtools-at 的测试则记录了这次权重调整让拒答次数降了多少。
02
理科准确率小幅提升，
按要求输出的比例接近 97%
xtools-at 在模型卡顶部列出了衍生版的拒答对照，还报告了 0.0422 的 KL 散度，用来描述权重调整前后输出概率分布的变化。
在 xtools-at 公布的测试中，面对同一组 100 条提示，Jackrong 的蒸馏版全部拒答，经过调整的衍生版只拒答了 3 条。
页面往下的数学、推理效率和输出格式测试，则沿用了 Jackrong 对蒸馏版的评测。
在 GSM8K 上，Jackrong 用 NVFP4 量化版跑了四次，平均准确率为94.5%。
同一张表里，DeepSeek V4 Pro 的参考成绩是92.6%，Llama 3.3 70B Instruct 是94.84%。
到了 MMLU-Pro，Jackrong 把原版千问和蒸馏版放在相同设置下，分别做了500 道数学题、500 道物理题和 500 道化学题。
三科都有提升，其中数学涨得最多，从90.60% 升到 92.40%，物理和化学分别提高0.4和0.6 个百分点。
数学也是推理开销降得最多的一科。
按整套题消耗的推理 Token 除以答对题数计算，蒸馏版在数学上少用了47.4%，物理和化学分别少用了30.8%和32.1%。
这组分科数据能看出，三门课的收益并不均匀。
还有一项容易被跑分盖过去的变化，是模型更愿意按要求收尾。
在同一套 MMLU-Pro 测试里，提示词要求模型思考完后只输出一个大写字母。
蒸馏版有97.2%的回答符合这一格式，原版千问是37.3%，同场对比的 Claude Mythos 蒸馏 9B 版本是69.6%。
模型卡还提到，Jackrong 的蒸馏版在编程和工具调用上出现了小幅改善，并展示了一个用它做出来的可玩小游戏Star Skip。
这部分目前以初步观察和演示为主，模型卡还没有给出专门的代码或 Agent 基准结果。
03
衍生版模型已有4-bit量化版，
支持本地运行
想在本地试用 xtools-at 的 9B 衍生版，可以选原始 Safetensors 权重，也可以用社区转换的 4-bit GGUF。
如果想用LM Studio、Ollama 或 llama.cpp，社区开发者Sakura721已经把xtools-at 的衍生版转成了Q4_K_M GGUF，也就是4-bit 量化版。
如果所用的 LM Studio 版本支持这套视觉模型，下载并导入.gguf模型文件，加载后就可以试文字对话。
想输入图片，还要下载同仓库的mmproj文件，用来把图像转换成模型能处理的输入。
xtools-at 已经公开了衍生版的拒答测试，社区也给出了可本地运行的量化权重。
接下来，用 Jackrong 测过的同一套理科题复测，才能看清这次权重调整保留了多少蒸馏带来的准确率和推理效率。
关注+星标，获取AI前沿进展与开源一线动态
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
