NeurIPS 2026 | 从Token到Span：重新思考大语言模型的不确定性估计

在将 LLM 真正应用到产品的过程中，我们经常会遇到一个看似简单、却非常关键的问题：模型生成的内容，究竟有多可信？

在 Amazon 的实际产品研发过程中，我们发现，下游系统往往不仅希望获得 LLM 生成的结果，还希望能够得到与之对应的确定性或置信度信息，以便进一步优化后续决策。例如，对于一个基于 LLM 的信息处理系统，模型生成的内容可能被用于后续分类、推理、工具调用，甚至直接影响用户体验。此时，下游系统需要判断：应该直接采纳模型的输出，还是需要额外验证？是否有必要调用更强大的模型？又或者，当前的信息还不足以支持一个可靠的决策？

这些问题都离不开Uncertainty Estimation（不确定性估计）。进一步思考，我们发现一个更有意思的问题。当一段 LLM 生成的文本同时包含多个事实或语义单元时，我们真的能够用一个分数来衡量整段内容的可靠性吗？

假设模型生成了十个事实声明，其中九个非常可靠，只有一个存在明显的不确定性。对于下游系统而言，仅仅知道整个回答的平均置信度，显然不足以支持精细化的决策。我们真正希望知道的是：模型究竟对哪些内容有把握，又对哪些内容不确定？

这一问题在未来的 Multi-Agent 系统中可能变得更加重要。当多个 AI Agent 相互协作时，一个 Agent 的输出可能成为另一个 Agent 的输入。如果 Agent 之间不仅能够交换自然语言信息，还能够传递每个具体 Claim 的不确定性，那么接收信息的 Agent 就有机会根据这些信号决定是否需要额外验证、进一步推理或调整执行策略。

换句话说，我们认为：Uncertainty 不应该只是用于评价模型表现的一个指标，它还应该成为能够被下游系统理解和利用的决策信号。带着这样的思考，我们开始重新审视 LLM Uncertainty Estimation 中一个基础但容易被忽视的问题：不确定性究竟应该在哪个颗粒度上进行衡量？

在我们的 NeurIPS 2026 工作SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation中，我们尝试回答这个问题，并提出了一个新的研究任务：Span-Level Uncertainty Estimation（SLUE）。我们希望，这项工作不仅能够提供一种有效的不确定性估计方法，也能够为未来更细颗粒度、更具可操作性的 LLM Uncertainty 研究提供一个新的起点。

• 论文地址： https://arxiv.org/abs/2607.05721
• 项目主页： https://damon-demon.github.io/SpanUQ.html
• 代码: https://github.com/damon-demon/SpanUQ
• 模型: https://huggingface.co/DamonDemon/SpanUQ
• 数据集: https://huggingface.co/datasets/DamonDemon/SpanUQ-Benchmark
• 会场时间: Thu, Dec 10, 2026 • 3:30–6:30 PM in Hall C1 • Atlanta Poster Session 4

01 ｜ 从 Token 到 Sequence：现有 Uncertainty Estimation 的颗粒度局限

目前，针对 LLM 的不确定性估计已经有大量研究，其中两种常见的颗粒度分别是 Token-Level 和 Sequence-Level。但在实际应用中，我们发现这两种颗粒度都存在一定的局限性。

1.1 ｜ Token-Level Uncertainty：足够细颗粒度，却缺乏完整语义

Token-Level 方法通常利用模型预测每个 token 时的概率分布，例如 entropy 或 token probability，来估计模型生成过程中的不确定性。这类方法具有较低的额外计算开销，也能够提供细颗粒度的信息。但问题在于：Token 并不天然对应一个具有完整意义的语义单元。

例如，当模型生成一个日期、数字或者实体名称时，它可能由多个 token 组成。单个 token 的不确定性并不一定能够直接反映整个事实声明的可靠性。

此外，语言生成中的概率不确定性也不完全等价于事实层面的不确定性。模型可能非常确定地生成一个错误事实，也可能因为存在多种合理表达方式而对正确内容表现出较高的 token entropy。因此，直接将 Token-Level Uncertainty 作为下游事实可靠性判断的依据，可能存在一定偏差。

1.2 ｜ Sequence-Level Uncertainty：具有整体视角，却难以定位问题

另一类研究尝试估计整个回答的不确定性。例如，通过多次采样、语义一致性比较或其他方法，为完整的生成序列计算一个 uncertainty score。这类方法能够从整体上衡量模型回答的可靠性，但也带来了另一个问题：即使我们知道整个回答不可靠，也很难判断究竟是哪一部分存在问题。考虑下面这个简单的例子：

Marie Curie was a Polish physicist who won the Nobel Prize in 1901.

这段话包含多个事实信息：

• Marie Curie 是一位波兰物理学家。
• 她曾获得诺贝尔奖。
• 她在 1901 年获得诺贝尔奖。
• 
  

其中，前两项事实是正确的，而最后一项包含错误的获奖年份。如果采用 Sequence-Level 方法，我们可能只能得到整个回答的一个不确定性分数。但对于下游系统而言，我们真正关心的是最后那个存在问题的具体事实，而不是否定整个回答。这使我们开始思考：是否存在一种介于 Token 和 Sequence 之间的、更自然的不确定性估计颗粒度？

02 ｜ Span-Level Uncertainty Estimation：让不确定性与语义对齐

我们的核心观察是：人类理解、验证和使用信息时，通常并不是以 token 或整段文本为单位，而是以具有完整语义的内容片段为单位。例如，对于一段包含多个事实声明的文本，我们可以分别判断每个事实是否可靠，而不必将整个回答视为一个不可分割的整体。基于这一观察，我们在论文中正式提出了一个新的研究任务：

2.1 ｜ Span-Level Uncertainty Estimation（SLUE）

SLUE 的目标是：在 LLM 生成的文本中，识别具有完整、可独立评估语义的文本片段（Semantic Spans），并为每个片段估计对应的不确定性。

与传统颗粒度相比，Span-Level Estimation 希望同时具备三个特点。

第一，Semantic Coherence：语义完整性。每个 Span 应尽可能对应一个能够被独立理解和评估的语义单元，而不是任意的 token 组合。

第二，Fine-Grained Localization：细颗粒度定位。当一个回答中只有部分信息存在不确定性时，我们希望能够精确定位这些内容，而不是仅对整个回答给出一个分数。

第三，Actionable Uncertainty：可被下游系统利用。当不确定性与具体语义内容关联起来时，下游系统就能够针对不同片段采用不同的处理策略。例如，仅验证不确定性较高的事实声明，而不必重新检查整个回答。

我们认为，第三点尤其重要。因为它意味着 Uncertainty Estimation 不仅仅是一项模型评估任务，也有机会成为连接 LLM Generation 与下游决策的重要桥梁。当然，SLUE 并不意味着 Token-Level 或 Sequence-Level Uncertainty 不再有价值。不同颗粒度反映了不同层面的信息，而我们希望通过 SLUE 补充现有方法在语义定位与实际可操作性方面的不足。

2.2 ｜ 从问题定义到可研究的任务

提出一个新的研究任务，只是第一步。真正的挑战在于：如何自动识别语义片段？如何为不同 Span 构建合理的不确定性标签？又如何在不显著增加推理成本的情况下完成估计？为此，我们进一步提出了SpanUQ，作为探索 SLUE 任务的一种初步解决方案。

03 ｜ SpanUQ：单次前向传播实现 Span-Level Uncertainty Estimation

在设计 SpanUQ 时，我们希望同时解决两个关键问题：

• 如何定位需要评估的语义片段？
• 如何高效、准确地估计这些片段的不确定性？
• 
  

已有的一些 Sampling-Based Uncertainty Estimation 方法需要对同一个问题进行多次生成，再通过比较不同回答来估计模型的不确定性。尽管这类方法能够提供有价值的信息，但多次采样通常意味着额外的推理开销。对于需要处理大量请求、对延迟和成本敏感的实际系统而言，这可能成为一个重要限制。因此，我们提出了一个不同的思路：

能否将昂贵的 Multi-Sample Uncertainty 信息，提取并蒸馏到一个轻量级模型中，使其能够通过单次前向传播完成预测？

这正是 SpanUQ 的核心设计。SpanUQ 是一个约25M 参数的轻量级 Probe，利用预训练 LLM 的 Hidden States，同时完成语义片段检测与不确定性估计。整个框架主要包含以下几个部分。

3.1 ｜ 从 Hidden States 中提取不确定性信息

LLM 的内部表征包含丰富的信息，不同层的 Hidden States 也可能编码不同类型的语义和预测特征。我们首先从预训练 LLM 中提取 Hidden States，并通过 Multi-Layer Fusion 与 Token Encoder，将其转换为适合后续 Span-Level 预测的特征表示。在这一过程中，原始 LLM 的参数保持冻结。这意味着我们不需要重新训练整个基础模型，而是利用一个相对轻量的 Probe 学习如何从内部表征中提取不确定性相关信号。需要说明的是，SpanUQ 并不是让模型直接读取一个已经存在的、明确表示事实正确性的内部变量，而是学习 Hidden States 与目标不确定性标签之间的映射。

3.2 ｜ DETR-Style Span Decoder：同时识别多个语义片段

对于 Span Detection，一个直观的方案是将其转化为 Token Classification，例如使用 BIO Tagging 标记每个 token 是否属于某个 Span。但这样的设计在处理重叠 Span、灵活的片段边界以及联合预测任务时存在一定限制。受目标检测领域 DETR 架构的启发，我们设计了一个DETR-Style Span Decoder。

其核心思想是使用一组可学习的 Span Queries，通过 Cross-Attention 与文本特征交互，从而并行预测多个语义片段。每个 Query 可以预测一个候选 Span 的位置，并进一步估计它对应的不确定性。这种设计使得 Span Detection 不再完全依赖传统的逐 token 标注方式，也为重叠语义片段的建模提供了更灵活的结构。在实验中，我们的 Span Detector 达到了0.910 F1，相较于最强的启发式方法取得了39.4% 的相对提升。这表明，借鉴目标检测中的 Query-Based Prediction 思想，是进行语义片段定位的一条可行路径。

3.3 ｜ Mixture of Beta：建模连续的不确定性

当我们成功定位一个语义片段后，下一个问题是如何预测其不确定性。一种简单的方法是直接回归一个 0 到 1 之间的分数。但在实际生成任务中，不同 Span 的不确定性分布可能具有较复杂的形态。例如，部分内容可能高度可靠，部分内容可能明显不可靠，也有一些内容处于中间状态。为了更灵活地建模这种分布，我们使用了Mixture of Beta Distributions（MoB）。Beta Distribution 天然定义在 0 到 1 区间，适合建模有界的连续数值。通过多个 Beta Components 的组合，我们能够表达更复杂的不确定性分布，而不仅仅依赖单个点估计。训练过程中，我们结合了Beta Negative Log-Likelihood（Beta NLL）和Contrastive Ranking Objectives。前者帮助模型学习连续的不确定性标签，后者则进一步鼓励模型正确区分不同 Span 的相对不确定性。这两种能力都非常重要。因为对于实际系统而言，我们不仅关心预测分数是否接近目标值，也希望模型能够合理地对不同内容的可靠性进行排序。

3.4 ｜ Uncertainty-Conditioned Iterative Refinement

此外，我们还引入了Uncertainty-Conditioned Iterative Refinement（UCIR）。其基本思路是将第一轮预测得到的不确定性信息重新反馈到共享 Decoder 中，对 Span 预测进行进一步修正。这一设计在引入有限额外计算开销的情况下，能够改善预测质量。在我们的实验中，UCIR 的额外开销低于 15%，并能够进一步提升不确定性排序的相关性。

总体而言，SpanUQ 将Span Detection 与 Uncertainty Quantification结合到一个统一框架中。我们希望通过这种方式证明：即使不依赖昂贵的多次采样推理，也有可能获得具有语义定位能力的细颗粒度不确定性信号。

04 ｜ SpanUQ-Bench：为 SLUE 提供标准化评估基础

对于一个新的研究任务，仅仅提出模型是不够的。如果缺少统一的数据和评估方式，研究者就很难比较不同方法的性能，也不容易系统性地理解任务本身的挑战。因此，在 SpanUQ 中，我们还构建了SpanUQ-Bench，为 Span-Level Uncertainty Estimation 提供初步的 Benchmark 基础。SpanUQ-Bench 包含：

• 20K Prompts
• 约 293K Annotated Spans
• Continuous Uncertainty Labels
• 
  

与传统的二分类正确性标签不同，我们希望进一步捕捉每个 Span 在多次生成与验证中的不确定性程度。为此，我们通过 Multi-Sample Claim Verification 构建连续的 Soft Labels。一个简单的直觉是：如果针对同一问题进行多次采样，某个事实声明在不同生成和验证过程中表现出较强的一致性，那么它可能对应较低的不确定性。

反之，如果相关内容在多次采样中表现出较高的不一致性，或者缺乏稳定的验证支持，那么其不确定性可能更高。当然，多次采样得到的经验信号并不等价于绝对的事实正确概率。但它可以为学习细颗粒度的不确定性估计提供有价值的监督信息。通过 SpanUQ-Bench，我们希望将 SLUE 从一个概念性的研究问题，进一步转化为一个可以训练、评估和比较的具体任务。我们也希望，随着更多研究者参与，未来能够出现覆盖更多任务类型、语言、模型架构和不确定性定义的评估基准。

05 ｜ 实验结果：准确性、效率与模型适用性

为了评估 SpanUQ 的有效性，我们在五个不同的 LLM Backbone 上进行了实验，涵盖两个模型家族，包括 Dense 和 Mixture-of-Experts（MoE）架构。实验从 Span-Level Uncertainty Quality、Span Detection、推理效率等多个维度展开。

5.1 ｜ 更准确的 Span-Level Uncertainty Estimation

在五个 LLM Backbone 上，SpanUQ 都取得了较好的 Span-Level Uncertainty 估计表现。其中，AUROC 达到0.908–0.944，MAE 为0.110–0.129。相较于 Token Entropy、MLP Probe、SelfCheckGPT-NLI、P(True) 等 Baselines，SpanUQ 展现出了更强的综合表现。值得注意的是，我们不仅关注模型能否区分高低不确定性的片段，也关注连续预测分数与目标标签之间的误差。这对于下游系统使用 uncertainty score 进行进一步决策尤为重要。

5.2 ｜ 10–20× 推理加速

效率是 SpanUQ 的另一个重要优势。传统 Sampling-Based 方法往往需要多次调用模型，通过生成多个候选答案来估计 uncertainty。相比之下，SpanUQ 利用 LLM Hidden States，通过轻量级 Probe 完成预测。在论文评估设置下，SpanUQ 相较于 Sampling-Based 方法实现了约10–20× 的推理加速。这一结果说明，细颗粒度不确定性估计并不一定需要付出高昂的多次采样成本。对于需要规模化处理模型输出的实际系统而言，我们认为高效的不确定性估计是一个值得持续探索的方向。

5.3 ｜ 从 Span-Level 到 Sequence-Level

除了直接评估 Span-Level Uncertainty，我们还探索了一个有意思的问题：如果已经获得了多个语义片段的不确定性，是否能够进一步推导整个回答的不确定性？

实验结果表明，Sequence-Level Uncertainty 在一定程度上具有可分解性。这意味着，Span-Level Estimation 不仅能够提供更细颗粒度的信息，也可能帮助我们理解更高层级的不确定性。我们认为这是一个值得继续研究的发现。它提示我们，不同颗粒度的 uncertainty 之间可能并不是完全独立的，而是存在某种可以被进一步建模的结构性关系。

06 ｜ 从 Uncertainty Estimation 到 Uncertainty-Aware Decision Making

到这里，我们已经介绍了 SLUE 任务、SpanUQ 方法以及相应的实验结果。但对于我们而言，这项研究更有意思的部分，可能并不局限于目前取得的性能提升。我们真正关心的是一个更加长远的问题：当 LLM 能够为生成内容中的具体语义片段提供 uncertainty signals 时，我们可以利用这些信息做什么？我们认为，这可能为未来的 Uncertainty-Aware AI Systems 提供新的研究机会。下面是三个我们尤其感兴趣的方向。

6.1 ｜ Uncertainty-Aware Verification：让验证更有针对性

随着 LLM 被越来越多地用于知识密集型任务，如何验证生成内容的可靠性已经成为一个重要问题。一种直接的方法是对整个回答进行事实验证。但如果回答包含大量事实信息，完整验证可能需要多次检索、额外的模型调用以及较高的计算成本。实际上，并不是所有内容都需要同等程度的验证。假设一个 LLM 生成了十个 Claims，其中只有两个具有较高的不确定性。如果我们能够获得每个 Claim 的 uncertainty score，那么下游系统就有机会只针对这两个高不确定性片段调用搜索工具或验证模型。这样，系统便可以将有限的计算资源集中在最需要额外检查的内容上。更进一步，不同的不确定性程度也可能对应不同的验证策略。对于低不确定性内容，系统可以优先直接使用；对于中等不确定性内容，可以采用轻量级验证；对于高不确定性内容，则可以考虑更严格的外部检索或多模型交叉验证。需要强调的是，低 uncertainty 并不意味着事实一定正确，因此具体的验证策略仍然需要结合任务风险、模型校准程度和实际业务需求。但我们认为，Span-Level Uncertainty 为更加精细化的 Verification Strategy 提供了一种潜在的基础信号。

6.2 ｜ Uncertainty-Guided Self-Refinement：只修改真正需要修改的内容

近年来，Self-Refinement 已经成为提升 LLM 生成质量的重要研究方向。其基本思想是让模型对自身生成的内容进行反思、评估和修正，从而逐步改善输出质量。但一个值得思考的问题是：当一段回答只有局部内容存在问题时，我们是否真的需要重新生成整个回答？

考虑一个包含多个事实声明的长回答。如果其中大部分内容已经足够可靠，只有某些 Span 具有较高的不确定性，那么对整段回答进行重新生成，可能引入不必要的额外计算，甚至修改原本正确的内容。Span-Level Uncertainty 为这一问题提供了另一种可能。我们可以先定位高不确定性的语义片段，再引导模型针对这些片段进行验证、修改或重新生成。这可能使 Self-Refinement 从整体级别的反复生成，进一步走向更细颗粒度的局部修正。从研究角度来看，这里仍然存在许多值得探索的问题。例如，如何根据 uncertainty 判断一个 Span 是否需要 refinement？如何在修改局部内容的同时保持上下文一致性？又如何判断 refinement 是否真正降低了错误风险？这些问题都需要后续研究进一步验证。但我们认为，从 Whole-Response Refinement 走向 Targeted Span-Level Refinement，是一个具有潜力的研究方向。

6.3 ｜ Uncertainty-Aware Multi-Agent Communication：让 Agent 不仅交换信息，也交换可靠性信号

我们认为，这可能是 Span-Level Uncertainty 在未来 AI 系统中非常值得关注的应用方向之一。随着 Multi-Agent Systems 的发展，越来越多的复杂任务开始由多个具备不同能力的 Agent 协作完成。例如，一个 Agent 负责检索信息，另一个 Agent 负责分析和推理，第三个 Agent 则根据前面的结果制定执行策略。在这样的系统中，一个 Agent 生成的内容往往会被其他 Agent 进一步使用。但目前，我们通常更加关注Agent 之间交换了什么信息，而较少系统性地考虑：Agent 是否也应该告诉其他 Agent，这些信息有多可靠？

假设 Agent A 向 Agent B 提供了一段包含多个事实声明的分析结果。如果 Agent B 只能获得自然语言文本，它可能需要自行判断其中哪些内容可信。但假如 Agent A 能够同时提供每个 Claim 对应的 uncertainty score，情况就有所不同。Agent B 可以根据这些信号决定是否直接使用信息、请求 Agent A 补充证据，或者调用另一个 Agent 进行交叉验证。进一步地，整个 Multi-Agent System 还可能根据不同 Claims 的 uncertainty，动态决定任务分配、计算资源投入以及后续的推理路径。这使我们想到一种更广义的信息交互方式：

未来 Agent 之间传递的内容，或许不应该仅仅是自然语言文本，还可以包含与具体语义单元关联的可靠性信号。

当然，要真正实现这一愿景，还有不少开放问题。例如，不同 Agent 可能使用完全不同的基础模型，它们输出的 uncertainty score 是否具有可比性？如何确保一个模型给出的 0.9 confidence 与另一个模型具有相近的含义？又如何避免错误校准的不确定性信号在 Multi-Agent 系统中不断传播和放大？因此，我们并不认为 Span-Level Uncertainty 已经解决了 Multi-Agent Communication 中的可靠性问题。相反，我们希望它能够成为进一步研究这些问题的一个切入点。

07 ｜ 结语：一个刚刚起步的研究方向

随着大语言模型逐渐从独立的文本生成工具，演变为复杂 AI 系统中的基础组件，如何衡量、理解并传递模型输出的可靠性，正在成为一个越来越重要的问题。在这项工作中，我们尝试从一个相对基础的问题出发：Uncertainty Estimation 的合理颗粒度，究竟应该是什么？

我们认为，Token-Level Uncertainty 虽然细颗粒度，却不一定具有完整的语义；Sequence-Level Uncertainty 能够提供整体判断，却难以定位具体存在问题的内容。而将不确定性与具有完整语义的文本片段关联起来，可能是在两者之间建立连接的一种自然方式。基于这一思考，我们正式提出了Span-Level Uncertainty Estimation（SLUE）任务，并通过 SpanUQ 和 SpanUQ-Bench，为这一方向提供初步的方法与评估基础。

当然，我们也意识到，这项研究仍然只是一个开始。目前，我们主要关注的是如何从 LLM 的内部表征中高效估计语义片段的不确定性。但在更广泛的实际应用中，还有很多值得进一步探索的问题。例如：

• 如何进一步提升 Uncertainty 的 Calibration，使其真正成为值得下游系统参考的决策信号？
• 如何利用 Span-Level Uncertainty，引导模型进行更高效、更有针对性的 Verification 与 Self-Refinement？
• 当多个 Agent 使用不同的基础模型时，如何在它们之间可靠地传递和理解细颗粒度的不确定性信息？
• 除了事实声明，Span-Level Uncertainty 是否也能够扩展到复杂推理过程、代码生成以及其他类型的结构化输出?

这些问题目前都没有简单的答案。但我们认为，随着 LLM 和 Multi-Agent Systems 在实际应用中的不断发展，Uncertainty Estimation 的研究目标也有机会逐渐从单纯的模型评估，拓展到更加广泛的Uncertainty-Aware Decision Making。在这个过程中，能够定位具体语义内容的 Uncertainty Signals，可能发挥越来越重要的作用。

我们希望 SpanUQ 不仅仅是解决 SLUE 任务的一种方法，也能够成为研究社区探索细颗粒度不确定性估计的一个起点。为此，我们开放了相关代码、模型和 Benchmark，希望能够为后续研究提供便利，也期待有更多研究者共同探索这一方向。

第一作者介绍：

张益萌，现任 Amazon Applied Scientist，研究方向为生成式 AI、AI Agent 与多模态智能体。2025 年于 Michigan State University 获计算机科学博士学位，曾为 OPTML 实验室成员，导师为刘思佳副教授。曾就读于 Columbia University 与 University of Sheffield。其研究关注高效机器学习、模型鲁棒性与安全，涵盖 LLM、扩散模型和对抗学习等领域，在 CVPR、NeurIPS、ICLR、ICML 等国际会议发表多篇论文。