DexHoldem：从单个动作到完整交互的机器人评测

机器人能完成一次抓取，能不能接着把整项任务做完？前一步移动了物体，下一步就要重新看清桌面；一次小失误，也可能让后面的操作无法继续。DexHoldem 用真实的牌桌交互，把这些问题放在一起检验。

香港大学与忆生科技参与的 DexHoldem 研究，已获 NeurIPS 2026 Workshop 接收。它以德州扑克牌桌为实验场景，同时考察灵巧手的操作，以及智能体的感知、判断和决策能力，并记录整个系统能否持续完成任务。

论文题目：
DexHoldem: An Agentic Robotics Benchmark for Dexterous Manipulation in Texas Hold’em
论文链接：
https://arxiv.org/abs/2605.18727
项目主页：
https://dexholdem.github.io/Dexholdem/

DexHoldem 论文主图：实验设备、感知与动作执行流程，以及模型评测结果。右下展示部分感知模型的结果。

一、把看清桌面和动手操作放在一起检验

这套评测提供 1,470 条成功操作的示范数据，覆盖 14 项基础动作。数据由人通过遥操作设备控制机器人采集，供模型学习。研究比较了九种动作控制模型，并用 36 道真实场景问题测试 14 种感知模型与运行工具的组合，最后通过 33 局有效测试检验完整系统。

14 项动作包括拿起、扣放和展示左右两张牌，以及四种面额筹码的推入和拉回。每项有 100 条示范用于训练、5 条用于验证。薄牌不容易拿起，密集摆放的筹码又容易互相碰到，机器人既要找对目标，也要控制好手指。

实验使用 UR10e 机械臂和 Shadow 灵巧手。控制动作的模型结合桌面俯视、第三人称和腕部三个视角，以及机器人的关节状态，预测下一步的 30 维关节位置目标。负责理解局面的智能体另用一台桌面相机观察。研究者可以分别更换感知模型和动作模型，比较各自带来的变化。

论文原图展示四类操作的成功与失败：查看手牌、亮牌、推入筹码、拉回筹码。图中只标记动作是否完成，周围场景是否保持良好另行评分。

二、动作做到了还要看有没有碰乱桌面

机器人把目标筹码推到指定区域，却顺带碰走了旁边的筹码，这次操作该怎样评价？DexHoldem 分别记录“目标有没有完成”和“周围场景有没有保持好”。两项各有成功、失败两种结果，合起来就是四种情况。

任务完成率 TCR 回答“有多少次做到了目标”；场景保持成功率 SPSR 则更严格，要求做完目标的同时，没有造成超出规则的物体位移、重叠或越界。按要求移动目标物体当然允许，额外碰乱桌面的动作才会影响后一项评分。

九种动作控制模型的真机结果，依据论文表 1 重绘。每种模型安排 80 项评测，使用同一套评分规则。

π₀.₅ 的任务完成率为 61.2%，加入场景保持要求后，成功率降至 47.5%；π₀ 的场景保持成功率也为 47.5%。RDT 和 DP (DINO) 的这一指标分别为 30.0% 和 26.2%。分开报告两项分数，能让研究者看到：机器人是把动作做完了，还是连周围物体也照顾好了。

这些模型使用相同数量的训练示范和相同的真机评测流程，但模型结构、已有训练经验及接入机器人控制系统的方式并不完全相同。因此，结果反映的是各套被测方案的表现，不能仅凭分数判断某一个设计因素的作用。

研究还用 RDT 比较了不同数据量下的训练效果。每项动作分别使用 10、20、50、100 条示范时，相比策略部分从随机参数开始训练，使用预训练策略的动作预测误差分别降低 1.2%、9.0%、10.7%、11.3%。这里的误差来自验证数据，对应论文中的验证损失；真机操作能否同样改善，还要另做测试。

三、看对单项信息还不等于理解完整局面

感知测试要求模型回答一组具体问题：当前进行到哪一步、轮到谁行动、双方的起始角色标记是什么、桌上有哪些公共牌、当前操作区里有哪些筹码、双方各自还剩哪些筹码，以及亮牌后的结果。双方剩余筹码分别计分，共八项。模型需要把这些信息一起看对，才能为下一步行动提供可靠依据。

评分区分“单项信息感知正确”和“整道题完整答对”。Avg 先算八项能力各自的准确率，再等权取平均；Overall 则统计整道题完整答对的比例。这样既能看到单项识别水平，也能知道模型能否交出一份完整正确的回答。

部分感知模型的结果，依据论文表 2 重绘。每套模型与运行工具的组合都使用同一组 36 道题，重复测试三次。

Opus 5.5 的单项平均准确率为 80.6%，整题正确率为 49.1%；GPT 6 Astra 分别为 80.2% 和 48.1%。单项平均分已经达到约八成，但整道题完整答对的比例仍不到一半。对于下一步行动依赖多条信息的机器人，这个差距值得关注。

不同信息也有不同难度。GPT 6 Astra 对当前操作区内筹码、对方剩余筹码的识别准确率分别为 93.8% 和 100.0%，公共牌却只有 20.5%；Opus 5.5 的公共牌准确率同样为 20.5%。这一项最高的是 GPT 5.5，为 61.5%。总分之外，各项结果能更直接地指出模型还需要改进什么。

GPT、Claude 和 Gemini 分别通过 Codex、Claude Code 和 Gemini CLI 运行，成绩对应模型与这些工具的组合。部分题目提供整理好的历史信息，另有 12 道题没有历史信息。这项测试主要看模型能否读懂当前场景；机器人能否自己记住并更新整个过程，还需要完整系统测试。

四、闭环持续交互才能完整完成长程任务

完整系统不断重复“观察桌面、理解局面、安排下一步、动手执行、再检查结果”。例如查看手牌，需要依次拿起牌、读出并记住牌面，再把牌扣放回桌面。每个步骤结束后都要重新观察，确认任务有没有推进。

系统运行流程的简化示意。图中的“原语”是拾牌、推筹码等基础动作，“路由”负责按规则安排下一步。

等待、检查动作结果和接着完成尚未结束的步骤，由流程控制模块按规则处理；有多个符合规则的动作可选时，再交给主智能体决定。如果动作卡住了，但桌面没有被碰乱，系统可以重试；如果场景已经被破坏，就请求人工帮助。

系统测试由 GPT 5.5 负责感知和主要决策，π₀ 负责控制动作。33 局有效测试中，有 4 局完成全过程，完成率为 12.1%。这四局中，3 局没有请求人工帮助，只有 1 局既没有重试，也没有请求人工帮助。

系统实际发起了 34 次重试，其中 12 次完成了此前未完成的基础动作。最终完成的四局中，有三局曾靠重试恢复进度。保留这些过程记录，才能分清机器人在哪里卡住、怎样继续，以及何时仍需要人的帮助。

DexHoldem 把动作控制、场景理解和行动决策放进同一套真实环境中评测。研究者既能检查各个环节，也能更换其中一个模型，再看整个系统是否更可靠。当前结果来自这一实验平台和被测组合，为后续改进提供了可比较的起点。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈