NeurIPS 2026 Oral｜让大模型精准「看图」：NV-CoT用连续坐标重构视觉思维链

一张高清照片中，远处的手提包是什么颜色？一页票据里，某项费用到底是多少？面对这些问题，多模态大模型常常需要先找到相关区域，再放大查看。但如果第一步就框错了位置，后面的推理也可能跟着出错。视觉思维链让模型能够边看边想、调用工具寻找证据。不过，许多方法仍然像生成句子一样，把边界框坐标逐个写成文本 token。连续的空间位置，为什么要通过离散文字来表达？

图 1 三种区域选择方式：文本坐标、固定 patch，以及 NV-CoT 的连续数值坐标。

针对这一问题，南洋理工大学、中国科学技术大学、新加坡国立大学与微软研究院的研究者提出NV-CoT（Numerical Visual Chain-of-Thought）：让模型直接预测连续数值坐标，将区域选择变成可学习的连续动作。该工作已获NeurIPS 2026 Oral（Top 0.4%），支持监督微调与强化学习。

第一作者赵克森是南洋理工大学博士生，主要研究多模态大模型中的强化学习。通讯作者朱贝尔是中国科学技术大学特任教授，主要研究多模态大模型推理、图像与视频可控生成、情感计算等。

• 论文标题：Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought
• 论文链接：https://arxiv.org/abs/2602.23959v2
• 项目主页：https://kesenzhao.github.io/NV-CoT/
• 代码仓库：https://github.com/kesenzhao/NV-CoT
• Hugging Face：https://huggingface.co/kesenZhaoNTU/NVCoT-Qwen3-VL-8B-Joint-GRPO-Step32
• 
  

背景与挑战

现有视觉思维链通常先输出边界框，再调用裁剪工具，将局部图像交回模型（图 1a）。然而，坐标文本化带来了两个问题。

一是训练目标与空间误差不匹配。真实坐标为 3.1 时，预测 3.2 比 4.1 更接近；token 级交叉熵却不会直接按照这种数值距离设置惩罚。二是数字可能被拆成多个子 token，完整的位置含义被分散到离散序列中，增加了精确生成的难度。

为避免将坐标写成文本，一些研究尝试直接利用视觉 patch 进行推理（图 1b）。例如，PaDT 则预测需要关注的 patch 索引。但 patch 是视觉编码器预先划分的图像块，模型选择区域时仍受固定网格限制，难以灵活、精确地框选目标；相关方法还可能需要较多架构改动。NV-CoT 则保留原有裁剪流程，直接输出连续坐标，让区域选择摆脱固定 patch 边界的限制（图 1c）。

贡献一 用数值回归学习精确定位

NV-CoT 在语言模型输出头之外，增加四个轻量线性输出，直接预测边界框左上角与右下角的坐标。文本仍由原有词表生成，坐标则通过数值分支输出，再交给工具执行放大。

在监督微调（SFT）中，文本继续使用交叉熵，坐标则采用回归损失。采用论文主结果中的 L1 设置时，联合目标可写为：

其中，ℒₜₑₓₜ是文本交叉熵，μₜ 与bₜ* 分别为预测框和标注框， Tₐ表示坐标动作位置，λ控制回归项权重。预测位置偏离多少，可以直接反映到训练目标中。在 Vis-CoT-363K 验证集上，定位 IoU 从 Vis-CoT 的 47.3 提升至 59.5，提高 12.2 个百分点。这为连续坐标的作用提供了直接证据。

贡献二 让连续动作接入强化学习

没有中间边界框标注时，模型需要尝试不同区域，再根据最终回答获得反馈。NV-CoT 为四个坐标预测分布中心，并增加第五个输出预测共享尺度，控制边界框的探索范围。

NV-CoT 直接采用Laplace policy，将边界框建模为各维独立、共享尺度的四维连续分布，其概率密度为：

训练时，通过以下重参数化采样生成边界框动作：

其中，μ是预测框坐标，α>0是共享尺度，控制探索幅度。s的各维为独立、等概率的正负号，ε的各维独立服从单位速率指数分布，两者逐元素相乘。推理时关闭采样，直接使用分布中心裁剪图像。

接入 GRPO 时，文字采用离散 token 概率，坐标采用 Laplace 概率密度。对于旧策略采样得到的边界框动作，新旧策略的 importance ratio 为：

该比率比较同一动作在当前与旧策略下的概率密度；四次方来自边界框的四个坐标。结合组内优势完成策略更新，奖励仍兼顾答案正确性、格式与条件性的工具使用，无需中间框标注。

图 2 NV-CoT 相较各自框架提升了定位 IoU 与回答准确率，并呈现更快的收敛趋势。SFT 与 RL 曲线分别在各自数据集上评估。

实验亮点

研究在 V* Bench、HR-Bench 4K 与 HR-Bench 8K 上评测，分别考察属性、空间关系以及高分辨率图像中的细粒度感知。NV-CoT 沿用对应框架的训练数据和配置，以检验坐标建模方式的收益。

表 1 三项高分辨率基准的完整实验结果。† 为多次放大，其余为单次放大设置；SFT 采用 L1 损失，RL 采用 Laplace 策略。分数越高越好。

两种训练路线均获提升。SFT 相对 Vis-CoT 的三个 Overall 分别提高 3.7、2.0 和 1.6 个百分点；RL 单次放大版本相对 DeepEyes 分别提高 2.6、1.3 和 1.6 个百分点。

多次放大仍有收益。在相同的多次工具调用设置下，NV-CoT 相对 DeepEyes 再提高 1.5、0.8 和 1.1 个百分点。不同调用预算应分别比较；单次设置下，V* Bench 的得分仍低于 ZoomEye 的 90.6。

收益延伸到其他视觉任务。相对 DeepEyes，NV-CoT 在 MMMU-Pro、ChartQA 与 OCRBenchv2 上分别提高 2.1、2.6 和 1.5 分，并在目标定位和计数任务上取得提升。

定位改善也能直观看到：在手提包颜色问题中，原模型框到了石墙和地面，NV-CoT 则对准手提包；在票据问答中，更准确的裁剪帮助模型读到正确的 485 美元，避免误选附近的 685 美元。

图 3 定位与回答的案例对比。红框为 NV-CoT，蓝框为对应框架；左列为 RL，右列为 SFT。

结语

NV-CoT 表明，视觉思维链中的「看哪里」可以通过连续数值直接学习，以较小的架构改动同时服务于 SFT 和 RL。它主要改善模型已经大致理解任务、但区域定位不准确的情形；当语义理解本身出错时，精确坐标仍无法包办后续推理。