Radio Graph Encoder：为空间感知补上射频模态的端侧表示底座 | 前沿在线

编辑：前沿在线 编辑部

当前AI具身智能正在快速落地，但一个常被忽略的前提是：具身智能要提供服务，首先得知道自己身处哪里。

而现有方案几乎完全依赖视觉——摄像头就是它的“眼睛”。

这双眼睛在暗光、烟雾、遮挡下会失效，在长廊、标准层、地下车库这类外观高度相似的区域里，也难以分辨自己究竟在哪一段、哪一层。

视觉之外，是否还有一条不依赖光照、不依赖外观差异的空间感知路径？

数位科技正在围绕城市大尺度空间中的多源物理信号开展系统性研究，探索视觉之外的空间信息载体，推动感知能力从依赖光照与算力的单一模态，走向更稳健、更经济、更贴近端侧部署的多模态体系。

近日，其公司在射频场编码方向取得阶段性研究进展，尝试用无处不在的射频信号，为AI具身补上这处感知盲点。

同时，甚至更重要的是：在不同物理量场的轻量级端侧编码器预训练研究阶段，通过对如何确保物理规律正确、高效地对齐并注入LM语义空间的研究，最终获得不同物理量统一的轻量级端侧场编码器，推动端侧对环境空间的低成本直觉感知技术发展。

城市空间射频场——被忽视的低成本高效模态

当前主流空间智能主要依靠视觉及其与文本对齐来认识世界，并实现了具身智能感知体系性能的巨大提升。

但这些模态在物理载体上同质——均为依赖视距的短波长电磁与光学测量；这一同质性连同对光照与算力的依赖，制约了其在与人共存的城市空间端侧部署时的经济性、鲁棒性和安全性。

复杂城市环境里还存在其它相对独立的物理模态，同样可以作为空间结构等信息的载体，但不依赖这些条件。

如射频信号场（包含基站信号、WiFi、蓝牙等）存在于几乎每一个城市空间，不需要任何部署，不受光照影响，不受视距约束。

一个位置的射频信号场特征，由这个空间的格局和源决定：哪里是实墙、长廊的差异、街道尽头有什么，甚至信号密度的差异本身也是空间的语义。而测量它，一部普通的手机就够了。

更近一步，空间信息载体并不限于射频场：任何端侧可测物理场的稳态分布，都包含空间结构在其中的一种映射。而只要一个准静态物理场满足源可枚举、独立观测、空间连续这几个条件，其编码方法应当是同构的。

探索各物理量场的统一编码和表示基座，是实现多模态感知 AI 原生接入（而不再硬编码为语义 token）、获得符合各类物理规律的场推断求解器的可能前提。

我们选择射频场作为第一个载体，是因为它几乎涵盖了常见的最难情况：场的物理规律与源的身份无关、源数量不定、且单次观测是一个无序集合。

而这类数据长期存在，却始终没有进入多模态表示体系，原因在于缺少一种合适的表示。

已有的做法各有难以绕开的局限：传统建库方式把信号强度当作查表的键，存储对象为一次次观测而非场本身，观测库之外的位置以邻近观测近似，观测库随源或环境变化而失效；神经场把场表示为坐标的连续函数，丢掉了信号源离散的身份结构，也难以吸收新的观测；第三种做法把信号硬编码为语义 token，让表示失去了可以对照的物理对象。

我们尝试把"场"作为表示的直接对象，希望模型学到场由空间格局与源生成的物理规律。

场先于观测——射频场Encoder设计思路

场先于观测存在，一片空间中的射频场由空间格局与边界条件决定；任何一次扫描，只是对这片场的一次有限采样。

观测有先后、有疏密，沿着人和车能走的路径发生——这些特征由观测过程决定，不构成数据的缺陷。

因此Encoder需要压缩的对象是场本身；观测数据是通向场的中间产物，编码完成后可以丢弃，场必须被保留下来。

进一步看，场的信息在物理上并不均匀。

距离带来的平滑衰减是确定性的，容易表示；墙体遮挡造成的衰落是空间格局在场上的投影，是场中最有价值的部分，必须表示；而多径造成的逐点涨落发生在半波长尺度上，原理上无法从外部观测推断——把"试图记住这一层"直接定义为过拟合，并在结果验收中设置了对应的检查。

编码的目标聚焦为：学习场由空间格局与源生成的规律。

它是可以检验的——第二层被编码的程度、越过第三层的记忆迹象，在验收协议中设置具体的检查项。由此，编码器的设计约束及思路定为：

1. 数据进入网络前的簿记（确定性预处理）——采样、编号、切分、单位——全部留在模型之外，模型容量只用于承载场的规律。

2. 模型满足端侧感知算力约束，实现观测现场在线的向量化编码和查询。

3. 表示以信号源为单元，一次观测中实际出现的源构成本次的临时匿名词表，每个源对应一个向量，表达它在已观测区域内的场分布。场的压缩靠"以源为单元"这个结构本身完成。

第四，任意观测子集统一编码。场的连续性意味着观测集合的任意子集仍是有效采样。能正确处理任意观测子集的Encoder，天然统一两类使用形态：现场流式编码（对当前时刻及之前的观测历史编码）与事后回溯（对既有观测库编码）。

第五，弱读出、强表示。读出器被刻意设计为一个逐源共享权重的窄网络，输入仅为"源向量与查询坐标"，期望借此强制场信息存进表示本身。

使用深圳、东莞2个城市的数据进行方法性研究，通过数据预处理方法、架构设计、任务和损失编排，最终获得模型为3.51M参数，一张消费级显卡即可完成研究训练。

对应部署目标：表示底座需要常驻在终端上，现场观测随时编码为向量，交付下游的多模态模型按需查询。

数据与预处理

数据来自深圳、东莞两地真实城市空间的实地采集。

每个采集点是一次完整的射频信号扫描，并拍照记录采集点左中右侧空间（限于本文研究目的，照片信息未参与编码），单点可见的信号源最多达 605 个。

场地按整栋建筑划分训练集、验证集与测试集：验证集与测试集在训练中整体不可见，与训练区域在图结构上无连边。预处理只做确定性工作——清洗、坐标局部化、源身份的冻结编号与图构建。下图给出这份数据的局部面貌：

（a）3D侧视图

（b）水平视图（更清晰呈现楼宇形态）

图 1｜城市级大尺度空间射频场样本分布（深圳南山局部）采集点按自然连通簇着色的轴测点云（竖直方向为楼层，已放大）。样本覆盖写字楼、商业体、住宅、地铁站、医院等场景，各簇的形态与尺度差异清晰可见。

放大到单个建筑空间内部（近似为上图中的同色簇），采集点沿走廊稀疏而不均匀地散布。这正是部署时观测的真实形态，模型必须能处理任意数量、任意分布的观测子集。

图 2｜单一建筑内空间（示例为深业上城）的逐层采集点分布（编号1 层 248 点 /编号 2 层 569 点 /编号 3 层 1,236 点）。观测沿可走区域稀疏散布，符合实际部署时观测子集形成特点和几何分布。

模型架构

主干分三段：观测集合编码、逐源聚合、逐源坐标条件读出。

段一在观测点之间做 4 层双向注意力，完成跨源信息融合；段二采用交叉注意力按信号源把分散的证据聚成逐源覆盖向量组，这就是交付下游的表示；段三用逐源共享的窄MLP网络，按"源向量 + 查询坐标"读出存在性与强度。整体数据流及架构如下：

图 3｜信号源中心场Encoder（绿 = 可学习模块，橙 = 确定性预处理，蓝 = 数据/张量，红 = 损失监督）。主数据流自左向右：批张量输入经段一完成跨源信息融合，段二聚合为逐源覆盖向量组 T——即交付下游的表示，段三按坐标读出存在性与强度，损失为逐格 Huber 直接回归。下方为切分方式对照、注意力单元内部与参数分布。

结果与检验

同一数据、同一主干上，采用最优配置（纯随机切分、逐格强度直接回归、固定种子、10,000 步）的训练全程如下：

图 4｜最优配置的训练全程（评估试卷固定、随机种子固定，同配置两轮逐位可复现）。验证损失整体与两个题型分层——均匀猜测基线约 2.9，最优值 1.9556（第 9,200 步），轨迹题型（部署形态）稳定难于随机题型约 0.2。

检验表示质量的方式主要看信息而非强度值：从编码后的向量里，能恢复出多少关于场的事实。

在验证集上，信号源的覆盖质心与观测规模这类空间结构，从表示中线性读出的决定系数达到 0.88～0.99；同一个源在两组不相交观测下的编码余弦相似度为 0.97——表示指向的是场而非某一次扫描。

图 5｜完备性三路对照（与上表同数据，含平均强度一列；同城留出场地）。部分观测过表示（C，绿）在覆盖质心与观测者规模上反超原始观测直答（A，灰）——表示携带的场先验补上了留出观测之外的信息。

•部分观测过表示的回答优于原始观测直答（质心 0.87 对 0.82、观测者规模 0.89～0.92 对 0.85）。表示携带训练中学到的场先验，在观测不完整时补上了观测之外的信息——这是"编码器存了场而非存了扫描"最直接的证据。

•扫描不变性：同一信号源在两组不相交观测下的表示余弦相似度 0.90，不同源之间的参照为 0.49；留出观测与全量观测的编码相似度 0.97。表示对观测子集稳定——编码的是场，不是扫描过程。

•无记忆化：训练区域上的可读出性全面低于留出区域，方向与记忆化相反。若模型编码了第三层逐点起伏，必然呈现相反签名。

部署形态的能力在"沿轨迹行走、预测前方未扫位置"的评估中测量：模型对训练未覆盖的位置预测信号指纹，集合重合率约 0.60，逐点强度平均偏差约 9～10 dB（以随机题型为主的固定评估集），信号总量预测与真值显著正相关。

该评估对应部署时的真实查询：对训练中未出现的位置，预测其可接收的信号源集合与各源强度。

这一能力的直观形态如下：

图 6｜验证集上的单源场重建。模型沿行走路线观测 128 个点（黑点）后，对整片区域逐坐标读出两个信号源各自的场强分布（左列），与同区域真值采样对照（右列）。高强度区的位置、覆盖形态与衰减方向均与真值一致。

另有两处短板声明：目前模型做不了精细的功率规划；分钟级以下的场变化不在当前框架之内。

阶段性结论：

第一，射频场可以被压缩为以信号源为单元的向量表示，场的位置结构过瓶颈后保留良好（覆盖质心与观测规模 R² 0.88～0.99、覆盖范围 R² 0.71～0.85，两个留出场地同档）；在同城测试集上，表示携带的场先验使部分观测下的可答性超出原始观测本身。

第二，完备性可以作为编码器的验收标准——扫描不变性和反记忆约束使"表示里存了什么"可测量，而非对损失数值的解读。第三，方法框架与频段、物理量无关——源可枚举、观测独立、场准静态、空间连续四条件下，射频、声场、光照可共用同一主干设计。

上述阶段性结论支持端侧表示底座的定位：表示以信号源为单元、变长且对观测子集稳定，编码器规模足够小（3.51M 参数），可以在终端设备上常驻运行——现场观测随时编码为局部源向量组，下游多模态空间感知模型按需查询。

它能做什么

在已经验证的范围内，这个模型可以回答一个从未扫过的位置应当能收到哪些信号、各有多强；可以把一片区域的历史观测一次编码后重建为场图；可以在行走过程中随时把观测历史编码为局部表示，交给下游模型。它需要的只是普通的射频信号扫描和大致的位置坐标。

已验证的能力（均在训练未覆盖的区域上实测）：

1.任意位置的场强查询——对训练中未出现的位置，预测其可接收的信号源集合及各源强度：集合重合率 0.53～0.60，信号总量的预测与真值显著正相关；

2.区域场图重建——对一片区域的历史观测一次编码后，可在栅格坐标上批量读出逐源场强分布（图 6 即为该形态：128 个行走观测点 → 整片区域的逐源场强分布）；

3.流式观测下的现场编码——对当前时刻及之前的观测历史随时编码，输出局部源向量组交付下游多模态模型；观测数量随现场条件变化，表示对观测子集保持稳定（部分观测与全量观测的编码余弦相似度 0.97）；

4.空间结构的射频侧约束——从表示中可线性读出各信号源的覆盖质心、观测规模（R² 0.88～0.99）与覆盖范围（R² 0.71～0.85），定位与地图扩展提供独立于视觉模态的约束；

5.新场地免重新训练——模型参数不绑定任何具体信号源身份，也不绑定场地：本文全部验证在与训练区域无图连边的建筑空间上进行；对训练中物理遮蔽、从未出现的信号源，模型预测优于基线。更换建筑与信号源集合，模型参数无需更新。

说明：对机器人而言，需要说明的是，射频是低成本直觉感知锚定，不作为主干感知，几何感知仍然由视觉和激光承担，这一点不会因为我们的工作而改变。

它的位置是一个补充层、低成本快速锚定层：在长廊、标准层这类外观高度重复的环境里，提供一种不依赖外观的场地识别；在弱光、烟雾、遮挡的环境里，提供一条冗余的约束。短期内它是可选的增强；随着感知硬件的普及和具身智能的落地，它成为感知体系中常驻一层的概率是可观的。

我们对这个节奏保持耐心。

射频场一直存在于几乎每一个城市空间，免费、全天候、无需部署。把它变成端侧可用、随时可查的表示，是空间智能补上这一模态的第一步。

下一步将在同样城市级数据集上，在模型框架的视觉和文本标签预留槽位增加对应模态预训练编码器，并进行语义对齐训练。

1. 本文全部数值来自实验留档记录，实验遵循固定评估试卷、固定随机种子、同预算对照、逐位可复现原则。

2. 本文训练和验证所用数据集取自数位科技的“大尺度城市空间多模态定位数据集”，该数据集包含人工采集标注的全国40M采集点位的坐标、图像、射频、文本标签数据。

前沿动态前沿大会
前沿人物

点「在看」，给前前加鸡腿