Talk预告 | 南洋理工大学胡凯瑞：具身图灵机 - 用软件工程思路解具身任务

本期为TechBeat人工智能社区第804期线上Talk。

北京时间11月4日(周三) 20:00，南洋理工大学博士生，Ropedia AI科学家胡凯瑞的Talk将准时在TechBeat人工智能社区开播！

胡凯瑞与大家分享的主题是：具身图灵机 - 用软件工程思路解具身任务。届时胡凯瑞将从纯代码执行机器人任务的能力边界出发，介绍共享技能库与递归自我改进机制，并结合 RoboDojo 实验、跨本体泛化和真机验证，讨论代码策略的适用场景与局限。

Talk·信息

主题：具身图灵机 - 用软件工程思路解具身任务

嘉宾：南洋理工大学·博士生，Ropedia AI科学家 - 胡凯瑞

时间：北京时间11月4日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

主流机器人策略是 model in the loop，代码作为工具来减少 model call。代码执行很快，那么去掉 model in the loop、纯代码执行的上限在哪里？适合哪些场景？泛化性如何？我们把物理世界理解为具身图灵机，把具身任务当作 SWE 问题：离线由 Coding Agent 编写并维护跨任务复用的技能库，在线只执行代码。这样的策略能跨 episode 复用；执行快，也能作为高效的数据引擎。在 RoboDojo 上简单验证，成功率 70.24%；并初步验证了跨本体、跨数据集的泛化性和 sim-to-real 的有效性，为机器人策略提供了一个新思路。

Talk大纲

1. 背景与动机：只用代码，能走多远？

主流策略是 model in the loop，代码作为工具；我们想看去掉 model in the loop 后，纯代码执行的上限、适用场景和泛化性。把具身任务当作 SWE 问题后，代码策略有三个好处：在线稳定高效执行，可复用的技能随任务扩展，以及作为高效的数据引擎。

2. 共享代码库：代码即策略

代码不只是给模型调用的工具，它本身就是策略，把对任务的理解沉淀成可复用的技能和框架。函数按形状写，任务文件只写决策；新任务运行的代码里，83% 来自共享库。

3. RSI：代码库如何越写越好

离线开发时，Coding Agent 运行、看失败、分支尝试、合并改进，而不是每个任务从头写。库越积累，新任务越快：每个任务 1 个示范、不训练，4 个新任务 15 小时平均达到 47%。

4. 实验验证

在 RoboDojo 的 42 个双臂任务上简单验证，成功率 70.24%。执行时不调用模型，每步决策中位 0.3 毫秒，每个动作都能追溯原因。

5. 跨本体泛化与真机验证

同一套代码库用到 LIBERO 上的 Franka Panda 和 MuJoCo 中带灵巧手的七关节臂，换机器人主要换适配层；真机上做了初步验证，差距主要来自感知误差。

6. 分析与展望

代码擅长记忆和精度，瓶颈在测不准的接触和变化大的场景。最后讨论 System 2 如何与代码技能结合。

Talk·预习资料

[1] Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement 论文链接： https://arxiv.org/abs/2610.12369 项目主页： https://ropedia.github.io/ropedia-a0/ Hugging Face： https://huggingface.co/papers/2610.12369

[2] ICRA 2023 | Code as Policies: Language Model Programs for Embodied Control 论文链接： https://arxiv.org/abs/2209.07753

[3] Voyager: An Open-Ended Embodied Agent with Large Language Models 论文链接： https://arxiv.org/abs/2305.16291

[4] RoboDojo 项目主页： https://robodojo-benchmark.com

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

胡凯瑞

南洋理工大学·博士生，Ropedia AI科学家

胡凯瑞，南洋理工大学一年级博士生，师从刘子纬（Ziwei Liu）教授，本科毕业于南洋理工大学。研究方向为具身智能与多模态大模型，目前关注如何用大语言模型和 Coding Agent（System 2）来做机器人策略控制。此前主要从事多模态理解研究，代表工作包括 Video-MMMU 和 LMMs-Eval（多模态评测框架）。近期工作 Embodied Turing Machines 探索以代码作为机器人策略（Code as Policy），让可复用的代码库在开发中递归自我改进（RSI），并验证了代码技能的跨本体复用性和泛化性。

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk