SpatialSpeak如何教会视觉语言模型先算距离再回答问题

你有没有遇到过这种情况：问一个AI"床的最长边有多长"，它直接甩给你一个数字，比如1.1米，但这个数字明显不对，床怎么可能只有1.1米长。它没有告诉你它是怎么算出来的，你也无从判断它是猜的还是真的看懂了图。

这不是段子，这是当下视觉语言模型在空间推理任务上的真实困境。

一、问题出在哪

现在的多视角视觉语言模型

VLM：Vision-Language Model的缩写，指能同时理解图像和文字，并用自然语言回答视觉问题的AI模型

越来越流行往里面塞三维几何先验知识。做法通常是找一个专门做三维重建的模型，把它提取的几何特征硬塞进语言模型的表示空间里，然后指望语言模型自己学会怎么用这些特征。

问题是，这种训练方式只监督最终答案对不对，从不监督中间过程。模型内部可能确实吸收了一些几何信息，但它从没被明确教过该怎么把这些信息组织成一步步的推理，再导出最终答案。对于"这个房间有多大"这种需要精确计算的定量问题，答案的可靠性同时依赖两件事：几何估计得准不准，以及推理步骤合不合理。只监督答案，等于两件事都没管。

这篇论文的作者们观察到一个现象：如果先教会模型做空间的思维链推理

CoT：Chain-of-Thought的缩写，指让模型把推理过程一步步写出来，而不是直接跳到答案

效果会因为模型有没有先经过三维重建训练而产生巨大差异。换句话说，先学会"看懂空间"，再学"怎么用空间信息做推理"，这个顺序本身就很关键。

二、SpatialSpeak的两阶段思路

论文提出的方法叫SpatialSpeak，核心是两个训练阶段。第一阶段叫QA-RP

QA-RP：QA-Native Reconstruction Pretraining的缩写，意思是用问答的形式训练模型做三维重建，而不是用额外的回归网络头

第二阶段叫CoT-VC

CoT-VC：spatial Chain-of-Thought with Visual Compensation的缩写，指带有视觉补偿机制的空间思维链训练

这两个阶段前后衔接，构成一条从"学会看"到"学会算"的完整链路。

三、第一阶段：教模型同时看清局部和全局

QA-RP阶段做的事情，说白了就是让模型练习三维重建，但重建的输出形式不是坐标矩阵，而是自然语言文字。

具体分成两个子任务。第一个叫局部重建，做法是在某一帧图像上用红色十字标记一个点，问模型这个点在三维空间里的坐标是多少。这个任务逼着模型精确地把一个二维图像上的像素，对应到三维世界里的具体位置。

第二个叫全局重建，问法是让模型列出场景里所有能看到的物体，报出每个物体的类别和三维中心坐标。这个任务给的不是单点的精度，而是整个房间里所有家具、物品的分布格局。

这两个任务都统一转换到第一帧相机坐标系下，保证局部的点和全局的物体用同一套空间参照系描述，不会出现"你说的左边是哪个左边"这种混乱。

这里有个设计选择值得说一下：为什么两个任务都非要用文字问答的形式来训练，而不是用更传统的三维坐标回归损失函数？

这就好比学开车。一种教法是让你反复练习方向盘转多少度对应车轮转多少角度，另一种教法是让你直接上路，边开边说出"我现在要往左打方向盘半圈，因为前方有个弯道"。第一种教法练出来的是肌肉记忆，遇到复杂路况说不清楚为什么这么打方向盘；第二种教法练出来的技能天然带着解释能力，因为语言表达本身就是训练目标的一部分。如果模型用回归头学重建，几何能力和语言表达能力是分裂的两套系统，中间要靠一层不透明的特征融合去桥接。而用问答形式训练重建，几何估计和后续的语言推理从一开始就共用同一套输出接口，模型学会的不只是"知道坐标"，而是"能用语言说出坐标"，这后面直接决定了第二阶段能不能顺利展开。

局部任务只盯着一个点，会不会漏掉整体场景的信息？反过来，只做全局的物体清单，会不会丢掉细粒度的几何精度？消融实验给出了答案：去掉全局查询，分数从62.8掉到59.9；去掉局部查询，掉到59.3；两个都去掉，直接掉到55.0。这说明局部和全局是互补的，谁都不能替代谁。

四、第二阶段：让模型写出真正能用的推理链

第一阶段结束后，模型已经具备了基本的重建能力。但重建本身不等于回答问题的能力，模型知道桌子在哪、床有多大，跟它知道怎么用这些信息回答"床和衣柜之间距离多少米"是两码事。

第二阶段CoT-VC要解决的就是这个衔接问题。论文针对四类常见的空间问题设计了确定性的推理模板：距离、尺寸、计数、最近物体判断。

以距离问题为例，模型的推理链会先分别报出两个物体的中心坐标和包围盒尺寸，然后计算中心点之间的欧氏距离，再用包围盒的半径做修正，减去两个物体各自的近似半径，得到一个更贴近实际的最近点距离估计。整个过程和人类估算两件家具之间距离的直觉是一致的：先看两个物体分别站在哪，再想它们各自占多大地方，最后才是它们边缘之间还隔多远。

这里藏着一个很实际的问题：几何估计终究是近似值，标注的包围盒未必精确，模型算出来的答案不一定和标准答案完全吻合，那这种时候该怎么办？

论文引入了可靠性评估机制。计算出的几何估计会跟真实答案对比相对误差，如果误差在阈值τ以内就标记为HIGH，模型会直接采用几何推导的答案；如果误差超出阈值，标记为LOW，模型会在推理链末尾承认"这个估计可能不准"，转而声明要依靠视觉观察来修正答案，最终给出标准答案。

这套机制叫视觉补偿

VC：Visual Compensation，指模型在识别到几何估计可能不可靠时，用直接的视觉证据来修正或补充答案的机制

这就像医生看化验单一样。化验单上的数值是重要参考，但一个负责任的医生不会盲目相信任何一次检测结果，遇到数值明显异常又和病人实际症状对不上的时候，他会说"这个指标可能有误差，我们结合影像再看看"。如果没有这层容错机制，模型要么死板地相信一个可能错得离谱的几何计算结果，要么干脆放弃几何推理直接猜答案，两条路都是死胡同。可靠性评估相当于给模型装了一个自我怀疑的开关，让它在该信任计算的时候信任计算，该求助别的证据的时候及时求助。

论文阈值τ做过对比实验：τ取0.1时分数是59.6，τ取0.3时是62.8，τ取0.5时是59.5。取值太严格，模型经常判定自己"不可靠"进而依赖标准答案本身作为监督信号，学不到真正的几何推导能力；取值太宽松，明明算错了也标成HIGH，模型学会了盲目自信。0.3是这篇论文找到的甜点。

五、两个阶段合在一起，效果远超单独叠加

论文里最有意思的一组数据出现在消融实验表格里。

不用QA-RP也不用CoT-VC的基线版本，在ReVSI

ReVSI：论文提到的一个空间智能评测基准，专门修正了VSI-Bench中的标注错误和答案分布偏差，让评测结果更能反映真实的三维推理能力

上得分52.4。

单独加CoT-VC，分数变成55.0，提升了2.6分。单独加QA-RP，分数是55.9，提升了3.5分。两个都加上，分数跳到62.8，比基线提升了10.4分，比两个单独提升之和还要多出4.3分。

这说明什么？如果模型没有先经过QA-RP训练，直接上CoT-VC，思维链推理带来的收益只有2.6分。但如果先做了QA-RP，再叠加CoT-VC，收益直接涨到6.9分。同样一套推理训练方法，效果差了将近三倍，唯一的区别是模型有没有先打好几何基础。

这就好比学生做应用题。如果一个学生完全不懂几何概念，直接给他背套路模板"先求圆的面积再乘以高度"，他能套用公式蒙对一部分简单题，但遇到稍微变形的题目就束手无策，因为他不理解每一步在算什么。而一个先系统学过几何、理解半径面积体积这些概念之间关系的学生，再教他解题套路，套路会真正内化成他自己的推理能力，遇到变形题也能灵活调整。CoT-VC这套推理模板本质上就是那个解题套路，QA-RP打下的几何基础决定了模型是死记硬背还是真正理解。

六、跟其他方法比，差距有多大

论文在ReVSI基准上和多个当前先进方法做了对比，包括SpatialStack、GeoThinker、VLM-3R、Cambrian-S、Omni-View等。

SpatialSpeak-4B拿到62.8分，第二名SpatialStack-4B是54.1分，领先了8.7分。细看各个子任务，物体计数从对手的36.3分跳到64.9分，接近翻倍；房间尺寸从54.4分到66.0分；相对距离从62.9分到71.9分。这几项恰好都是最依赖精确几何计算的定量题型，进步最明显不是巧合，正好印证了论文的核心逻辑：几何基础打得牢，定量推理就能跟上。

在VSI-Bench

VSI-Bench：另一个专门评测视觉语言模型空间智能的公开基准测试集

的常规训练设置下，SpatialSpeak拿到63.3分，比Omni-View-7B的55.4分高出7.9分。在扩大训练数据规模的设置下，SpatialSpeak达到73.0分，超过了参数量几乎两倍的GeoThinker-8B（72.6分）。用一个4B规模的模型打赢8B规模的对手，说明训练方法本身的收益，有时候比单纯堆参数量更划算。

在SPAR-Bench

SPAR-Bench：又一个空间推理评测基准，涵盖深度估计、距离判断、物体关系等多个细分维度

上，SpatialSpeak拿到76.0分，比SpatialStack-4B的72.0分高4分，比GeoThinker-8B的68.2分高7.8分。

七、重建精度本身也经得起检验

除了下游问答任务的表现，论文还单独评估了第一阶段模型的纯重建能力，在ScanNet

ScanNet：一个广泛使用的室内场景三维重建数据集，包含大量带深度图和相机参数标注的扫描场景

的200个验证场景上，跟CUT3R和MapAnything两个专门做三维重建的模型对比。

不做对齐的情况下，SpatialSpeak的准确度误差是8.9厘米、完整度误差是9.3厘米，明显低于CUT3R的13.7和12.7厘米，更是远低于MapAnything的36.3和28.4厘米。做了几何对齐之后，三者的差距收窄，SpatialSpeak和CUT3R基本持平，略微落后一点点。

这个结果说明一件重要的事情：一个原本专门为语言问答设计的模型，靠着QA-RP这套训练方法，重建精度居然能做到接近专业三维重建模型的水准，而且没有额外加装任何专门的几何回归网络头，所有输出全部走文字生成路径。这多少有点反直觉，通常大家会觉得，专用模型在专用任务上天然会比通用模型更强，但这篇论文证明，只要监督信号设计得当，通用架构一样能在专业赛道上跑出接近专业选手的成绩。

八、这条路径可能通向哪里

论文里有个细节我觉得值得单独拎出来说：模型在处理"有几个黑板"这类计数问题时，它先把每个黑板实例的三维中心坐标写出来，再数数得出总数。这不是简单地让模型输出一个数字，而是让它把中间的枚举过程完整暴露出来。这种做法带来的好处是，如果最终答案错了，我们能顺着推理链回溯，看看到底是漏检了物体，还是坐标估计偏了，还是加减法算错了。这种可追溯性在实际部署场景里价值很大，尤其是机器人导航、增强现实这类需要人类信任AI判断的应用。

论文并没有解决所有问题。它目前只针对距离、尺寸、计数、最近物体这四类问题设计了确定性推理模板，遇到相对方向这类更抽象的题型，还是退回直接监督答案的老办法。这说明"把推理过程模板化"这条路子，目前只能覆盖那些能被明确公式化的问题，那些依赖更模糊的空间直觉判断的问题，怎么设计对应的思维链，还是个开放问题。

QA-RP这套思路是否能扩展到室外场景、动态场景，论文没有涉及。ScanNet是室内静态场景数据集，物体基本不动，相机轨迹也相对规整。如果换成街景或者有物体运动的视频，局部点重建和全局物体清单这套框架还能不能稳定工作，是个值得追问的方向。

Q&A

Q1：SpatialSpeak是什么？

A：SpatialSpeak是一种训练视觉语言模型做空间推理的两阶段框架，先通过QA-RP让模型学会三维重建，再通过CoT-VC教模型用几何估计一步步推导出空间问题的答案。

Q2：QA-RP和CoT-VC分别起什么作用？

A：QA-RP让模型通过问答形式学习局部点重建和全局物体布局重建，打好几何基础；CoT-VC在此基础上训练模型表达几何估计、进行任务专属计算，并在估计不可靠时用视觉证据修正答案。

Q3：SpatialSpeak在实际测评中表现如何？

A：在ReVSI基准上，SpatialSpeak达到62.8分，超过第二名SpatialStack-4B达8.7分；在VSI-Bench和SPAR-Bench上同样取得当前最优成绩，且模型参数量只有4B，比不少7B、8B的对手更小。