大模型下个范式：文本生成先写提纲，速度能快31倍

编辑｜泽南

如今的大模型再聪明，输出内容也是一个字一个字往外蹦。有没有一种可能：真正的 AGI 不是这样？

近日，斯坦福大学与 Together AI 的研究者提出了一种既不同于自回归，也不同于扩散的第三种文本生成范式。他们把 NeurIPS 2024 最佳论文 VAR 在图像上的「下一尺度预测」配方搬进文本，让模型先并行写出几句话的「概念大纲」，再逐层并行填充细节，直到还原成完整文字。

于是新模型就叫Next-Concept Modeling（NCM，下一概念建模），对主流 Next-Token Modeling（下一 token 建模） 来了个正面叫板。

在若干实验中，NCM 以相近或更好的质量，实现了相对扩散语言模型 10—31 倍的生成速度。

• 论文：《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》
• 论文链接：https://arxiv.org/abs/2610.14162
• GitHub：https://github.com/HazyResearch/ncm

我们知道，目前主流的大语言模型即自回归模型（包括不限于 GPT、Claude、DeepSeek），通常根据已有内容预测下一个 token，后续输出依赖前面的结果。近两年逐渐热门的扩散语言模型则可以同时处理多个位置，通过反复去噪逐步生成文本。但并行不意味着只需一步：迭代次数减少则质量可能下降，每轮处理整段序列也会带来更多开销。

NCM 的思路是连同「每一步到底生成什么」一起改变。它借鉴了图像生成中的 next-scale prediction，画面可以先生成低分辨率版本，再逐级增加细节。既然文本可以扩散生成，文本是否也能拥有自己的「缩略图」呢？

图片来自 NeuralPS 2024 Best Paper《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》。

难点在于这是两个维度的事：图片缩小后通常还能看出主体，一句话删掉几个字就可能完全变了意思。因此，我们需要让模型自己学会一种既概括、又适合继续细化的表示。NCM 为此设计了两个训练阶段。

首先是训练一个多尺度残差 VQ-VAE。我们可以把它理解为一套文本编码与还原系统：将原文转换成多层离散编码，前面的编码较少，后面的编码更多，每层继续补充此前尚未表达的信息。为了防止粗层「偷懒」，训练时会随机截去后面的细层，要求系统仅靠留下的部分尽量还原原文。这样，模型就需要学会让前面的层也必须承载有用的信息。

随后再冻结这套系统，训练 Transformer 根据此前各层累积的表示预测下一层。生成时，模型逐层推进，同一层的编码同时预测，最终由解码器还原成文本。

那么模型的效果如何呢？论文中展示了德译英翻译的示例，NCM 是先把中间层解码出来，早期输出还夹杂重复和不完整表达，随着层级推进，内容逐渐明确，最后第十一步形成通顺的译文。这种思路是不是更接近于真人翻译呢？

另外 NCM 还有一个特点就是快，一方面，需要依次执行的生成轮数减少了，另一方面，早期只处理较短的编码序列，每轮的平均开销也有下降空间。

作者在单块 H100 SXM 80GB 上测试，LM1B 无条件生成比强扩散基线快约 21 倍，生成困惑度更好；OpenWebText 上质量有竞争力，速度约为 10 倍；XSum 摘要任务中，在 ROUGE-L 相当的情况下，速度约为 31 倍。训练成本上，两个数据集分别少用 4.9 倍和 4 倍的 token，而对比对象 DUO、MDLM 在 OpenWebText 上要跑 100 万步、处理超过 5000 亿个 token。

在推理任务如数独中，NCM 在更少的采样步骤下优于自回归和扩散基线。在只有 30 条线索的困难题上，NCM 完整解出率为 86.1%，高于 FMLM+ 的 81.3%；生成器调用次数分别为 12 次和 16 次。

逐层细化整个棋盘，可能更适合协调全局约束。这相当于让 AI 换个角度来看待问题。

进一步展望的话，速度还可以换一种方式使用：在相同时间内多生成几个候选，再从中挑选。团队尝试了最小贝叶斯风险解码，利用候选之间的相似性进行选择，进一步改善了翻译和摘要指标。

当然，距离通用大模型，NCM 还有不少问题要回答。论文主体实验使用的生成器约为 1 亿参数，规模扩展到 7.25 亿参数。扩大规模后能否保留优势，精确文本与长篇内容表现如何，都需要后续验证。

如果说文字生成也可以被表示成「概念—细节」的层级结构，模型就可以先想清楚再动笔，这也是人类写作的方式。

这意味着未来文本生成的路线图可能会被改写。

参考内容：

https://hazyresearch.stanford.edu/blog/2026-10-12-ncm

https://scalingintelligence.stanford.edu/blogs/ncm/