苹果ANE大突破！从自用黑盒到快速开发，低功耗高性能3bit

硅基观点｜苹果M6 Neural Engine上的3-bit向量量化突破：27B大模型真正跑进ANE时代跑出37.5 tokens/s

苹果ANE一直是不对开发者开放的私有AI硬件内核，长期只服务于苹果自家操作系统底层驱动和自带应用！例如：Siri、环境光检测、心率监测的实时低功耗待机。

ANE硬件核心经过十几年的更新，一直以低功耗硬解码完全自用著称，对比英伟达的高带宽高功耗通用极致性能是另一个极端，也被视为点错了科技树

自从2025年ANE开始试探面向开发者开放内核以来，今年终于在开源社区的努力下，让ANE顺利进入了大模型生态。而这次的意义，就是：

苹果ANE终于从凑合能用，走到了真正好用！

2026年10月14日，开源项目ANEMLL（Advanced Neural Engine Machine Learning Library，发音像“animal”）在Hugging Face正式发布了一篇重磅技术博客：《Three-bit MLP vector quantization on the Apple Neural Engine》。

这是直接针对苹果最新M6芯片的Apple Neural Engine（ANE），把Qwen3.8-27B这种27B级别的大模型，完整适配到ANE上运行的详细实战报告。

核心亮点一目了然：

• 所有MLP矩阵全部采用3-bit向量量化（VQ）
• 编译后模型在M6上达到0.0518 KL-512（对比BF16参考模型），比0.1版本的0.1838大幅提升
• 平均37.5 tokens/s（24个聊天与编程提示，配合DFlash2投机解码）
• 打包权重仅9.74 GiB（含校正因子，不含embedding）

这意味着，苹果自研的Neural Engine，终于从“跑小模型还行”跨入了“能比较像样地跑27B级模型”的新阶段。

事件背景与技术细节

ANEMLL Forge 0.2版本，针对Qwen3.8-27B的64层结构（48层Gated DeltaNet + 16层全注意力），对192个MLP矩阵全部使用统一的3-bit向量量化方案。

具体做法非常巧妙：
每个矩阵维护一个只有64个“双分量FP16质心”的共享码本。用一个6-bit索引同时选出一对权重，再配合每输出通道的独立FP16缩放因子。这样实际存储就是每权重约3 bit

为了尽量保住精度，他们组合了多套成熟技术：

• 固定Hadamard旋转（在线应用，扩展到token mixer）
• GPTQ误差补偿
• 600步量化感知训练（QAT），蒸馏BF16教师模型的next-token分布
• 低秩FP16校正分支（主要用于mixer部分）

硬件层面的约束也写得很诚实：ANE目前不支持MXFP4/NVFP4那种按块缩放的格式，分组向量表探测会回退到CPU。因此他们选择了“每矩阵一个共享码本 + 每输出通道一个缩放”的实用路径，并证明在M6上向量LUT延迟明显低于M5。

注意力部分也做了针对性优化：M6使用FP8 softmax中间结果，M5则保持FP16。KV缓存默认V8（K为FP16、V为INT8），并支持INT8投影内核。

结果很扎实：

• 预测保真度大幅提升（KL从0.1838降到0.0518，top-1一致率从86.0%升到91.9%）
• 编译后ANE内存反而更小（约12.97 GB）
• 速度与上一代基本持平，甚至更优

当然，作者也诚实标注了局限：目前主要看KL和特定工作负载速度，标准化任务准确率和能耗评估还是未来工作。

为什么这件事值得关注？

1. 硬件红利真正落地
   M6的ANE对LUT（查找表）权重解压缩有硬件加速，解压速率可达约0.7 T weights/s。之前在M5上，量化再狠也跑不快，因为没有真正加速。M6让3-bit VQ从“能跑”变成了“跑得动、跑得稳”。
2. 开源社区在填补苹果官方空白
   苹果自己对大模型在ANE上的公开细节一向克制。ANEMLL把完整的量化脚本、转换流程、训练配方、模型包全部开源（GitHub + Hugging Face），让普通开发者也能在M系列芯片上尝试27B级模型。这比单纯发论文更有价值。
3. 端侧大模型的现实路径正在清晰
   手机、Mac、未来的Apple Intelligence设备，内存和功耗永远是硬约束。3-bit VQ + 投机解码 + ANE原生支持，给出了一条“不需要服务器也能跑中等规模模型”的可行路线。

当然也要泼点冷水：

• 目前还只是研究级发布，任务准确率和长上下文稳定性还需更多验证
• Core ML / Core AI编译器对新型硬件仍有各种坑，需要不断适配
• 真正商业级部署还要解决能耗、预填充优化、多引擎协同等问题

但方向已经明确——苹果Neural Engine不再是“玩具加速器”，而是可以认真承载大模型推理的主力硬件。

硅基观点

这不是一次简单的“量化技巧更新”，而是端侧AI硬件能力与软件量化方法的一次关键对齐

当硬件终于能高效执行低比特向量查找，软件社区就能把精度损失压到可接受范围，并开源全套工具链。这种“硬件突破 → 开源跟进 → 生态落地”的节奏，正是AI真正走向普及的典型路径。

未来几个月，我们可能会看到更多基于M6 ANE的27B、甚至更大模型适配出现。如果苹果能在后续芯片上进一步强化LUT加速和块级量化支持，端侧大模型的天花板还会继续抬高。

对于开发者来说，现在正是动手试试的好时机——模型包已经放在Hugging Face，代码也完整公开。

端侧AI的下一章，正在用3个bit一点点写出来。