图形学宗师童欣加盟Meshy，要做“AI for Fun”的头号玩家

AI创新的下一块高地，正在向3D生成聚集。

从多模态生成、世界模型，到空间智能、具身智能机器人……

3D，正在成为下一代AI的核心引擎。

而现在，图形学领域的宗师级人物，与AI 3D赛道最炙手可热的明星公司，联手了。

最新消息：

童欣，正式加入了胡渊鸣创办的Meshy。

胡渊鸣童姥大会师

据最新消息，童欣将出任AI 3D公司Meshy的首席科学家，负责制定Meshy的长期科研战略。

这可能意味着，华人图形学界最具代表性的两代研究者——Meshy创始人胡渊鸣与童欣，将共同推进多模态世界模型与实时交互系统的突破。

童欣此前在微软亚洲研究院工作25年，期间曾领导网络图形组，并担任全球研究合伙人。

其研究方向涵盖计算机图形学与三维计算机视觉，具体一点，包括不限于材质捕捉与建模、纹理合成、三维几何处理与建模、光传输分析与模拟、真实感绘制、三维人脸动画。

△童欣其人

计算机图形学，简单来说，关注的是“如何在计算机中创建、操控和呈现三维世界”

这一领域在游戏、影视、工业仿真中具有基础性地位，在当下则愈发成为AI感知与表达的基础设施

毕竟不懂三维，AI就难以真正理解和进入物理世界。

而童欣，是在这个方向上扎根最久、积淀最深的学者之一。

1999年，童欣刚从清华博士毕业，就进入了成立不到一年的微软中国研究院，也就是日后被称为“中国科技界黄埔军校”的微软亚洲研究院

二十多年间这里走出了无数影响中国乃至全球计算机研究格局的核心人物——不过那就是另外的故事了。

作为亚研院的第一批研究员，童欣在这里一待就是25年，从研究员一路做到全球研究合伙人、网络图形组负责人。

几乎见证了中国计算机图形学的所有重要时刻。

△童欣其人

这期间童欣在顶刊顶会上发表了大量论文，其Google Scholar引用已超过21000次。

这些技术研究给微软留下了不少好东西，包括Xbox游戏开发API、Xbox兼容软件、Windows三维打印驱动，以及Direct3D图形开发工具包等等。

此外童欣还给亚研院网络图形组留下了另一笔“财产”：一批足以撑起当下华人图形学界的中坚力量

25年间，他在这里合作、交流、指导了一批又一批优秀研究者。

浙大周昆，ACM Fellow、IEEE Fellow，CAD&CG全国重点实验室主任，与童欣合作多年，从3D打印、计算设计一路探索到NeRF与神经渲染；

清华徐昆，清华大学计算机系长聘副教授，国家杰青，读博期间与童欣多次合作发表SIGGRAPH论文；

北大王鹏帅，北大王选所助理教授，从实习生到高级研究员一直在童欣麾下，如今已是三维几何学习领域的代表学者……

这些和他共事过的人，对童欣的评价往往出奇一致：

平易近人，始终扑在一线，能就极其细节的技术问题进行严谨讨论，也能把复杂的技术问题用大白话讲明白。

因为在童欣看来，计算机图形学是一个计算机应用学科，正因此，所有的研究问题都来自实际需要和新设备、新数据的出现

此外，童欣也很是幽默风趣，比如，他是这么形容自己的研究的：

• 我的家人除了对我做的饭菜比较认可，经常开玩笑说我每天对着屏幕上的三维茶壶、兔子甘之如饴自High不已，但是看起来我做的事情大不能改变世界局势，小不能提高百姓生活，实在不明白我的成就感来自哪里。

△图形学人的老朋友：Utah茶壶与Stanford兔子

这就是图形学圈里无人不知，无人不晓的“童姥”，拥有极深厚的学术功力，却带着孩童般的亲切和好奇。

倒也贴切。

“AI for Fun”

可以说，童欣在图形学界走到这一步，领域内能与之匹配的也只有Meshy这样的明星独角兽了。

Meshy是胡渊鸣从MIT博士毕业后创办的第一家公司，它的定位很简单，即把文字和图片变成3D模型

目前，Meshy聚集了1200万名用户，客户覆盖了全球市值与估值前十企业中的半数。

今年7月，Meshy完成了近4亿美元的B轮融资，投后估值超100亿元人民币。

一举创下了全球AI 3D领域单轮融资规模与估值两项纪录，成为该领域估值最高的公司。

不过，不管是更快的增速，还是更高的估值，相较于Meshy的愿景而言，还是过于具体了。

胡渊鸣，Meshy.ai创始人，扬州中学校运会400米冠军，清华姚班歌唱比赛二等奖，MIT计算机图形学博士，SIGGRAPH最佳博士论文提名，Taichi编程语言、编译器作者。

△胡渊鸣其人

他提出了一个听上去有点特别的目标：

AI for Fun

他的逻辑链是这样的。

在未来，当AGI解决了大量生产力问题之后，人类将只剩下一个核心问题。

“我们要如何创造、表达、连接？最重要的是，我们将如何获得意义？

读书、旅行、玩游戏、刷短剧……这些确实可以为我们创造快乐，然而在一个自由时间如此丰饶的时代，我们“一定会去追求更新颖、更有效的快乐和意义感生成方式。”

这样的方式，注定会由AI来驱动。

所以，“用AI给人类带来快乐和意义感，将是未来五年最重要的问题之一”。

而Meshy，想成为这个图景里至为关键的那块拼图。

Meshy Game Studio的第一款产品《黑箱：无限重构》游戏画面，图源公众号「胡渊鸣 Ethan」

用胡渊鸣的话来讲就是，他们要做的是“基于生成式AI重塑图形学，找到将想象具象化的全局最优解。”

此为何意？

换句话说，在今天，AI 3D要做的不仅仅是在图形学的指导下让AI更高效地完成建模、贴图和渲染。

长远来看，AI 3D的终局，可能是想象的具象化

这种前瞻视角与童欣的理念颇为契合。

2016年童欣就提出，要解决图形内容生产的everyone和everywhere问题，让任何人anywhere都能创造可视媒体内容。

十年后的今天，“everyone everywhere创造可视媒体内容”变成了“让任何人只用一句话就能把想象变成一个可进入体验、互动的世界”。

这当然是很宏大的愿望。

为了实现它，Meshy当下正在三个层面上做基础性技术研究工作：

首先，也是最重要的——重新发明图形学。

为此，要走出过去网络图形学里图形渲染管线的局部最优解，用AI重新打造一套不依赖于“三角形”的全局最优解，这里的“三角形”是GPU渲染三维物体的最小单位。

△斯坦福兔子包含了69451个三角形数据

其次，要搭建导演系统。

如果说新的图形学更像一个剧组，那么就必须有配套的导演系统才能实现AI for Fun。

这个导演系统负责制定世界的运行机制和3D骨架，实现剧本的实时编写。

最后是基础设施。

低延迟、高画质、低成本的三维生成与渲染基础架构是必要的，因为，即使刹那的卡顿在AI for Fun的体验中都会被数百倍放大。

为此，需要重新设计一套高性能的infra，而这点，正与胡渊鸣的博士论文、Meshy创业之初做的Taichi编程语言的基础一脉相承

在这些基础研究之外，Meshy的新模型也在攻克着当下AI 3D领域的具体卡点。

比如“可控性”问题，即生成结果是否忠实于输入图像，表现为整体比例的准确性、空间分布的合理性以及表面细节的还原度。

今年8月10日，Meshy发布了Meshy-7，在几何对齐（geometry alignment）方向迈了一大步，具体而言：

在有机角色方面，模型能够还原面部表情、解剖结构与皮肤褶皱等细节；

在硬表面与机械零件方面，各部件能够准确落在图像给定的位置，相邻部件互不粘连；

在文字与纹样方面，阴刻文字与浮雕图案清晰干净，可直接用于激光雕刻等工业场景。

应该说，Meshy在这些方向上的探索与童欣的关注点耦合，其近年的研究方向正处于3D与视频生成的交叉地带。

正如他在2024年所提出的那个经典问题：“三维是否只是视频生成的特例？”

即，如果一段视频已经能从任意角度“看到”一个物体，我们还有必要显式地去构建它的三维模型吗？

答案尚未明了。

但眼下确定的点是，童欣在AI多模态训练方面的前沿研究和工程积累，可以把Meshy的探索带向更远的地方。

“Mora：超越世界模型”

恰逢本文成稿时，胡渊鸣又在自己的公众号上发布了Meshy团队的新工作，Mora

Mora是“Multimodal Open-world Real-time Architecture”的缩写，意为“多模态开放世界实时架构”。

简单来说，它由三块拼图组成：

Coding agent，用来生成游戏世界骨架和运行代码；

3D生成，也就是Meshy这块最重要的拼图，可以用来丰富骨架，输出给视频模型的控制信号；

视频模型，接收3D场景信号，输出最终画面与音效。

胡渊鸣称这是一项“超越世界模型”的技术。

口气不小，怎么个超越法呢。

还记得今年1月，Google Genie 3上线可玩demo，宣称自己“是一款通用世界模型，能够让用户使用文字生成可探索的真实环境”。

为此Unity一天跌了24%，Roblox跌了27%，市场太兴奋了：以后做游戏不需要游戏引擎了，一个视频模型足矣。

然而大半年过去，胡渊鸣玩遍了市面上所有世界模型demo后，对着当下几乎所有互动视频模型，力陈八大弊

包括一致性弱、互动简单、物理解算能力弱、体验时间短、无法支持剧情和复杂逻辑、以单人游玩为主、无法利用Coding的机制生成能力、延迟较高。

一言以蔽之，就是难玩

然而这很可能不是一个靠优化就可以解决的问题。

现有视频模型本身并没有真正的智能，它们本质上只是一个渲染器，沿着这条路做下去，最后只能做散步模拟器

Mora的路线是反其道而行，既然视频模型解决不了3D空间一致性，那就让它做好自己该做的。

让Coding agent搭骨架，让Meshy生成3D，最后再让视频模型出画面，这样空间既稳定，又精致，还能玩。

△团队让Coding agent生成了一个简化版的 “送快递” 游戏

看得出来胡老板真的是很狂热的老玩家了。

不过Mora 1现在还处于很早期的阶段。

它只是用来验证一个框架。然后在这个框架下，通过scaling一步步逼近目标。

由此回到童欣的那个问题，三维是否只是视频生成的特例？

Mora给出了一个初步回答：至少在当下，两者不必是替代关系，可以在Coding agent的串联下各司其职。

这个答案当然还远未确切，但走到这里，问题也已经变得模糊了

这种感觉对童欣来说并不陌生。

二三十年间，他亲历了一轮又一轮技术冲击：过去画3D全靠手写规则，后来神经渲染来了，AI从照片里学会了光影；生成式AI来了，逼真画面不再依赖3D管线；视频模型来了，甚至能让动态世界凭空涌现……

新技术一次次叩问传统图形学的边界：图形学应该以怎样的形态继续存在？

面对这个越发迫切的问题，童欣再一次出发了。

他要和这一代最富有想象力的年轻人一起，去创造一个新的图形学。