Einsia AI发布Frontier3DBench：Agent离真实3D创作还有多远？

机器之心发布

Coding Agent 要走向真实的 3D 生产管线，就必须跨越从 “单个物体” 到 “完整场景”，乃至 “可交互开放世界” 的鸿沟。

过去，三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今，具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 ——将以往所有的三维视觉难题，全部转化为代码生成问题。

然而，现有的评测基准往往将 “静态几何质量” 与 “动态世界交互” 割裂开来，难以回答一个核心问题：

「今天的 Coding Agent，究竟能否接住从物体、场景到开放世界的全栈创作需求？」

为此，Einsia AI 发布Frontier3DBench。该基准横跨 Blender 与 Unreal Engine 两大工业级环境，涵盖 9 大类别、145 项任务（65 项物体 + 65 项场景 + 15 项开放世界），全面评测了11 种主流前沿模型与 Agent 框架配置，从外观、结构与行为三个维度，系统性地勾勒出 Coding Agent 的 3D 创作能力边界。

• 论文题目：Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds
• 项目主页：https://lab.einsia.ai/frontier3dbench
• GitHub：https://github.com/Einsia/Frontier3D
• Paper：https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf

从捏物体、搭场景到造世界

Frontier3DBench 测什么？

在 3D 创作里，捏一个模型、搭一个房间，和造一个能跑能跳的开放世界，难度完全不在一个量级。每往前走一步，Agent 要照顾的事就多一层：物体讲究零件与比例，场景讲究空间布局，而世界则必须接住动作、交互与持续变化的状态。

以往的评测往往把这些环节切碎了 —— 有的只看静态资产美不美，有的只测游戏代码通不通。光看一个笼统的总分，很难搞清楚 Agent 翻车时，到底是因为丢了参考图细节、排错了房间位置，还是卡在了运行时的某步交互上。

为此，Frontier3DBench 将这三层要求装进同一套评测标准，涵盖 9 大类别、145 项任务：

• L1 物体层（65 项）：交付可编辑 Blender 资产，涵盖纯文本建模（Text2Code）以及单视图、多视图参考图重建（Img2Code）。
• L2 场景层（65 项）：交付完整 Blender 场景，覆盖文本生成（Brief2Scene）、渲染图重建（Ref2Scene）、真实照片重建（Ref2Scene-RealPhoto）以及 “改局部、保周围” 的场景编辑（SceneEdit）。
• L3 开放世界层（15 项）：交付 Unreal Engine 工程，要求根据文本（Text2Env）或参考图（Img2Env）构建多区域连通、支持连续交互活动的开放世界。

评测也跟着工程文件一路往里走，用三个坐标给每份 3D 答卷打分：

1. 外观：看渲染结果，检查视觉美感与参考图还原度；
2. 结构：拆原生工程，量尺寸、数零件、查穿模与连通性；
3. 行为：跑独立测试，驱动角色在世界中实际穿行交互，验证动作与状态是否成立。

按 30%（物体）、30%（场景）、40%（世界）的权重汇总后，研究团队对 11 种主流大模型与 Agent 框架进行了全面摸底。

Sol 拿下总榜第一

但 “造世界” 换了领跑者

先看总榜：GPT-6.1-sol 以 66.02 分斩获总榜第一，在物体层（71.21）和场景层（70.35）优势明显。

但9 个细分类别，没有任何一个模型能全部通吃：

• 开放世界（L3）的领跑者变成了GPT-6-astra（均分 61.28）；
• 文本生成物体（Text2Code）的最高分属于Claude Opus 5.5（84.05）；
• 场景编辑（SceneEdit）则跑出黑马：总榜第六的MiniMax-M3.1-Flash以 78.70 分拿下单项第二，Kimi-K3 与 GLM-5.3-Flash 的编辑表现也双双超过全场均值。

想选一个做 3D 的 Agent，得先问清楚：你要它捏资产、改场景，还是去虚幻引擎里造世界？

自由发挥超 80 分

给张参考图却集体 “破防”

细看每个模型在各个任务上的得分，可以发现，所有模型的 “参考图重建” 得分均显著低于 “文本生成”：

• 文本生成物体得分普遍高达75.93～84.05 分；
• 到了多视图和单视图重建，全场最高分仅剩69.61分和66.26 分。

Qwen3.8-Max把这种反差展现得尤为明显：其文本生成物体高达 81.98 分（逼近榜首 Sol 的 82.10），但多视图和单视图重建却骤降至 43.97 和 37.34。Kimi-K3.1-Pro 和 DeepSeek-V4.1-Flash 也呈现出 “强生成、弱重建” 的分布。

做出一个 “看着合理” 的作品已经不难，难的是跨过遮挡与透视，把 “指定的那个作品” 分毫不差地复刻出来。

差距藏在外观、结构与细节中

把总分拆成视觉质量、结构一致性、任务完成度三个维度，模型的短板更加一目了然。

物体和场景的视觉与完成度由 Sol 领跑，开放世界由 Astra 领跑；而在物体结构上，Opus 以 83.27 分微弱反超 Sol。整体来看，各模型把主部件摆对位置、搭出粗略骨架相对容易（L1 结构均分 72.77），但要把精细外观和细节填满则难得多。

落到具体作品上，高下立判：

• 纺车重建（L1 物体）：Sol 和 Opus 恢复了主要机械组件，Kimi-K3 则将其简化成了抽象的圆环与木杆，丢了核心传动件；
• 浴缸修复（L2 编辑）：Sol 和 Astra 让新浴缸严丝合缝地适配了原有支架，Luna 的浴缸外壳却与支架分了家；
• Minecraft 村庄（L3 世界）：Astra 和 Sol 还原了村落轴线与连续梯田地形，Luna 则把建筑密集堆在了平地上，丢了空间语境。

单个机关能跑 83 分

连成完整任务却跌到 30 分

开放世界的真正考验在代码运行的那一刻。所有模型在 L3 世界层的平均分，均低于各自的物体和场景成绩。

对 165 个生成世界的运行时测试，拆出了一组扎眼的数据：

• 局部交互：平均83.08分
• 运动避障：仅20.82分
• 状态与工作流：仅30.26分

结论很明确：局部机关已经能做出来了，但很难把它们串起来。

单独写一个开关或机关，Agent 已经轻车熟路；但要让角色无穿模地跨区域移动、触发动作，并让改变后的状态持续影响下一步操作，从而跑通一整套活动，正是当前 Agent 亟待跨过的一道大关。

算笔经济账

花钱越多，作品就越好吗？

将综合质量与单题平均 API 估算成本放在一起，便有了这张性价比地图：

挑一个 3D 创作搭档，既要看作品，也得算清背后的 API 账单：

• 三大性价比守门员：GPT-6-luna（约 $0.27 / 题，48.56 分）、DeepSeek-v4.1-Flash（约 $0.45 / 题，57.45 分）和GPT-6.1-sol（约 $1.01 / 题，66.02 分）构成了帕累托前沿。从 DeepSeek 升级到榜首 Sol，花约 2.2 倍的成本即可换来 8.57 分的跃升。
• 更贵不等于更好：GPT-6-astra（约 $5.58 / 题，63.85 分）和Claude Opus 5.5（约 $21.17 / 题，62.29 分）的单题开销远高于 Sol，但综合质量反而更低。

下一步

让代码里的 3D 世界真正运转起来

一台精密的机器，依赖零件之间的严密咬合； 一间合理的房间，讲究物体之间的空间秩序； 一个鲜活的世界，需要动作之后仍能延续的状态与反馈。

今天，Coding Agent 正在把这些原本属于图形学与三维视觉的复杂要求，一行行写进可执行的程序代码里。

Frontier3DBench不仅为这条技术路线绘出了首张全景能力地图，也精准标出了通往 “真正 3D 创作者” 路上必须攻克的两座大山：

• 跨越 “自由生成” 到 “精准还原” 的鸿沟，让看见的几何结构与细节分毫不差地建出来；
• 打通 “局部机关” 到 “全局工作流” 的闭环，让可交互世界里的连续动作与持久状态真正协同运转。

当这两座大山被翻越，Coding Agent 交付的将不再只是孤立的资产或静态的布景，而是真正可走入、可交互、可演化的数字世界。

从「会写代码」到「能造世界」，3D 创作的下一个时代，才算真正拉开帷幕。