Meta新研究：字节模型蒸馏后，天花板破了

henry 发自 凹非寺
量子位 | 公众号 QbitAI

Token词元替代了Byte字节，但不意味着大模型都得是Token。

字节模型，特别是蒸馏后，有点儿新说法。

最近，来自Meta FAIR和华盛顿大学的论文《突破Token天花板：蒸馏出更小、更强的字节模型》，提出了一个很有趣的想法——

蒸馏的时候，能不能把学习单位从词元（Token）换成字节，让学生模型直接从字节（byte）级别的概率分布学起？

结果还真可以～

团队给每个Token加上结束标记，把教师的Token概率分布完整转换到字节级别。在以Llama 3-8B为教师的蒸馏实验中，团队根据缩放定律预测：

随着训练计算量增加，字节级蒸馏将反超Token级蒸馏，下游平均准确率上限高出4个百分点

传统蒸馏让学生学习教师在庞大Token词表上的概率分布。相比之下，字节只有256种基础取值，单个位置的预测空间更小，基础取值也不随分词器改变。

换句话说，学习的基本单位反而更小了，模型最终能学到的能力上限却更高了。

这是怎么做到的？

字节级蒸馏

其实到今天，蒸馏已经不是什么陌生技术了。我们都知道，大的模型能力更强，但把它部署到实际应用中，显存、计算和响应速度都是成本。

于是，一个常见做法，就是让大模型当老师，把能力蒸馏给更小的学生模型。

和普通监督训练只告诉模型“下一个正确Token是什么”不同，蒸馏还会让学生学习教师对各个候选Token的概率判断

但问题也出在这里。Token的候选空间实在太大。以Llama 3-8B为例，它的词表包含128256个Token，这意味着每一个预测位置，都对应十几万个候选概率。

如果做离线蒸馏，把完整概率分布全部保存下来，存储成本会非常高。因此实际操作中，通常只能保留概率最高的一部分，也就是top-k截断

而字节模型，刚好把这个候选空间一下压小了。

一个字节由8个比特组成，共有256种可能的取值。即使加上少量特殊符号，每个位置需要保存的概率也不过两百多个，完整分布自然更容易保留下来。

不过，教师预测的是整个Token，学生预测的是单个字节。要让两者对上，不能只把文本拆开，还得把教师的概率分布一起转换过去。

这正是论文首先解决的问题。

具体的，团队提出了两种方案，分别叫作Marginalize-ItEnd-Of-Token

两者的基本思路基本相同：把教师对不同Token的概率，逐步分解到对应的字节位置上。

以论文里的Tiramisu为例，它可能被tokenizer切成 T、iram、isu几个Token。

假设教师在预测下一个 Token 时，候选里同时有 isu、isk 和 is。

这三个候选都以字节 i 开头，那么预测第一个字节时，就可以把所有以 i 开头候选的概率加起来。

等真实前缀变成 i，再只保留前缀匹配的候选，继续计算下一个字节的概率。

沿着真实字节序列不断重复，就能把原本的 Token 分布，一步步拆成逐字节的训练目标。

第一种方法Marginalize-It，直接聚合并重新分配概率。

不过，麻烦出现在不同Token长度不一样的时候。

比如已经走到前缀 is，isu 和 isk 后面都还有字节，但 is 这个Token已经结束了。

这时，如果还想知道 is 之后接什么，就需要继续查询教师在这个Token结束后的预测；而不同候选路径，又可能对应不同的后续分布，计算量会迅速增加。

Marginalize-It的处理很直接：

已经结束的候选就不再往后追，把剩余候选的概率重新归一化。

这样只需要一次教师前向计算，效率很高，但代价是会丢掉一部分已经结束 Token的概率信息，因此本质上是一种近似。

第二种方法End-Of-Token，则给「Token结束」留了一个位置。

End-Of-Token则换了一个思路：既然Token会结束，那就干脆给“结束”本身一个明确的预测位置。

具体来说，团队在每个Token末尾加入一个特殊符号。于是原来的三个候选就变成：isu、isk和is。

这样，当已经走到前缀is时，学生接下来既可以预测u，也可以预测k，还可以预测，表示当前Token到这里结束。

原本因为长度不同而“悬空”的那部分概率，就有了明确去处。

因此，End-Of-Token可以在保留Token边界的同时，更完整地把教师分布映射到字节空间。

而且，两种方法都只需要教师做一次前向计算，就能完成从Token分布到字节分布的转换，不必为了不同分词路径反复调用教师模型。

到这里，教师模型的知识，总算可以真正交到字节学生手里了。

接下来要看的，就是它到底能学到多少。

实验验证

团队分别测试了Token、普通字节和带的字节三种表示，每种再分为监督训练与蒸馏训练，一共六组。

这样既能比较蒸馏有没有帮助，也能观察改变学习单位后，模型的训练表现如何变化。

教师统一使用Llama 3-8B。三类学生的Transformer层参数量相同，均约为12.8亿。

计入词表相关参数后，总参数量则有所不同：Token学生约18.1亿，字节学生约12.8亿。

研究逐步增加训练数据和计算量，字节模型的训练覆盖约万亿字节规模，再在选择题问答、语言生成和机器翻译三类任务中完成八项评测。

先看训练过程。

Token模型在计算量较小时学得更快，但很快开始接近平台期；字节模型起步更慢，却随着计算量增加持续改善。

也就是说，Token模型赢在前期效率，字节模型则表现出了更好的Scaling潜力。

不过，如果只看BPB，也就是统一到每字节上的预测损失，几种字节模型很早就已经超过Token模型，但真正拿去做题时，成绩却仍然更低。

之所以这样，是因为BPB衡量的是模型对文本预测得准不准，而下游任务看的是最后答案能不能选对，两者并不是一回事。

所以，团队没有直接拿BPB判断谁更强，而是进一步拟合了：训练计算量 → BPB → 下游任务成绩，再用这条关系预测不同方案继续Scaling后的能力上限。

结果表明，三种蒸馏方案的预测平均准确率上限分别是：

Token蒸馏48.4%，Marginalize-It蒸馏50.5%，End-Of-Token蒸馏52.4%。

也就是说，End-Of-Token最终比传统Token蒸馏高出4个百分点，也是六种方案里预测上限最高的。

不过，蒸馏的优势并非在所有预测中都成立。

普通字节监督模型的渐近准确率预测为51.2%，高于Marginalize-It蒸馏的50.5%。

论文认为，这里的原因很可能就是前面提到的：Marginalize-It为了省计算，丢掉了一部分Token结束后的概率信息。

而能够更完整保留教师分布的End-Of-Token，则同时超过了自己的监督版本和其他所有方案。

进一步，按照Scaling曲线继续往外推，End-Of-Token大约在6.33×10²² FLOPs时，就能追平Token蒸馏48.4%的预测上限。

在最后，实验还表明字节级蒸馏能显著降低数据和教师分布的存储压力。

团队还把这些渐近预测，与现有开放权重模型进行了比较。

按照论文的预测计算预算，End-Of-Token处理的实际文本量约为Token方案的六分之一

在Token只保存top-600、字节保存完整分布的设置下，存储量也只有约五分之一

不过，更少的数据，也不代表更少的计算。

尤其End-Of-Token还在每个Token后加入了，处理相同文本量时，训练计算量比普通字节模型还要再高约30.94%。

与此同时，推理成本也是同样的问题，论文目前还没有完成等推理成本下的公平比较。

所以总的来说，这项工作展示了一条小模型训练的新路径：把教师的知识转换到字节级别，让学生用更小的预测空间、更少的训练文本，争取更高的能力上限。

End-Of-Token在这组实验的外推中表现最好，但要兑现这一潜力，还需要继续投入计算。

作者介绍

最后，让我们介绍一下文章的作者们。

论文一作Kalyani Marathe是华盛顿大学博士生，师从Luke Zettlemoyer，研究兴趣主要集中在大模型训练、模型架构与Scaling。

她此前曾在Meta AI Research实习，也在Amazon Robotics 的 Foundation Models团队工作过。

Artidoro Pagnoni是华盛顿大学计算机系博士生、Meta访问研究员，研究重点是大模型的资源效率与Scaling，此前曾就读于CMU和哈佛大学。

他也是Byte Latent Transformer（BLT）和QLoRA的核心作者之一，后者将大模型微调的显存需求大幅降低。

Tomasz Limisiewicz是华盛顿大学和Meta的博士后研究员，此前在查理大学获得博士学位。

他主要研究大语言模型如何学习和迁移能力，尤其关注数据、模型内部机制、Tokenization，以及低资源语言和模型鲁棒性。

Margaret Li是华盛顿大学博士生，师从Luke Zettlemoyer和Tim Althoff，同时也是Meta FAIR的访问研究员。

她的研究涉及大模型高效训练与生成、条件计算、可控性和安全，此前还曾担任FAIR研究工程师，参与开放域对话等方向的研究。

Mike Lewis是Meta FAIR研究科学家，也是Llama 3预训练负责人之一。

他此前参与了RoBERTa、BART、CICERO、kNN-LM、Attention Sinks和Top-k Sampling等多项代表性工作。

Luke Zettlemoyer是华盛顿大学Allen School教授，同时担任Meta FAIR Seattle负责人，长期研究语言模型预训练、语义解析、问答和多语言NLP。

他曾获得美国总统青年科学家与工程师奖（PECASE），并在顶级NLP会议上获得十余项论文奖。

Srinivasan Iyer是Meta FAIR研究科学家，研究方向涵盖语言建模、文本生成、摘要、可解释性和问答。

他在华盛顿大学获得计算机博士学位，师从Luke Zettlemoyer和Alvin Cheung，博士阶段重点研究自然语言与通用源代码的联合建模。

[1]https://arxiv.org/pdf/2609.12303