上月发布 GPT-6-Astra 时，OpenAI 称它为「全球智能程度最高且最符合人类意图的模型」。具身社区则是惊讶的发现，VLA vs WAM 的路线之争，被通用大模型用文字模态「降维打击」了，大家不禁想问：
「GPT-6-Astra 的具身能力上限到底在哪？具身社区下一步最值得做的是什么？」
近日，商汤联合大晓机器人、Ropedia、新加坡南洋理工大学和东京大学的研究团队在《Has GPT-6-Astra Achieved Embodied Intelligence?》中，给出了覆盖 12 项仿真评测、8 个真实机器人平台的系统分析。
他们还分析了 GPT-6-Astra 与底层机器人控制系统的协作方式，搭建了一套更贴近真实家庭需求的具身评测原型。
技术报告地址：https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
有意思的是，同一个 GPT-6-Astra，在简单解除限制之后，在多项传统具身评测中交出了满分或接近满分的成绩：其中在长程组合操作评测基准 LIBERO-Long++ 上达到 100%，在考察操作鲁棒性和泛化能力的 LIBERO-Pro 上达到 99.3%，人形机器人基准 SIMPLE 上达到 98.8%，RoboDojo 上也可以达到 81.9%。但当这个模型指挥起真实机器人干活，一些日常小事，依然让它犯了难。
「把笔放进笔筒这个对人来说几秒钟就能完成的任务，总耗时 4 个多小时，消耗 55 美元。」
「明明判断鸡蛋煎好了，却没能及时关火，最后把鸡蛋烧焦；打开冰箱放下牛奶后，又转头忙着搬水果，让冰箱门敞开了好几分钟。」
「插入插头的操作，在多款真机交叉验证 11 次，一次都没成功。」
高分与失误放在一起，明显的反差暴露出一个关键问题：有能力规划、观察并纠正动作的通用大模型，距离可靠地干活，还有多远？
报告给出的判断是：GPT-6-Astra 已经在很大程度上跨过了具身能力的门槛，但距离能够实用部署的具身智能仍有相当差距。实验中暴露出的成本及耗时的问题、那些意想不到的失误，恰好说明接下来的最值得啃的硬骨头在哪里。
值得注意的是，在去年 GPT-5 发布后，相同团队也做过一篇针对其空间智能的评测文章《Has GPT-5 Achieved Spatial Intelligence》，随后就发布了 SenseNova-SI 系列模型。这么看来，这次的评测更像是一次「提前预告」。
从满分到不足三成 成功率差在哪？
当前，机器人操作领域广泛采用经过专门训练的控制策略，以及视觉 - 语言 - 动作模型（VLA）等技术路线。这类模型通常利用真实或仿真的机器人操作数据进行训练，让机器人根据视觉信息和任务指令，执行抓取、移动、放置等动作。
GPT-6-Astra 的出现，为具身智能提供了另一种可能。通用大模型能够结合视觉信息、机器人状态和任务要求，直接生成操作指令，以进行后续执行和调整。它能完成的任务，也开始跨越不同的机器人形态。
为了系统地研究这种能力，商汤 SenseNova 及其联合研究团队选取了 12 项代表性评测，覆盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航等五类场景。评测中，GPT-6-Astra 使用同一套评测思路，在不同环境中读取观察到的信息、生成机器人动作，并根据执行结果继续决策。
成绩确实很突出。除了上文已经提到的 LIBERO-Long++、LIBERO-Pro 和 SIMPLE，在超长程机器人操作基准 LIBERO-Ultra-Long 上为 98.9%。对于更复杂的灵巧操作，GPT-6-Astra 在 DexJoCo 上取得 87.3% 成功率，在 RoboDojo 上达到 81.9%。这说明，GPT-6-Astra 在大多数评测中达到或超过了当时已公开方法的最好成绩。
图 1：报告中 12 项评测与当时公开结果的比较。
这些高分成绩的背后，研究团队设计了两个关键条件：
第一个是上下文学习（ICL）：评测前，GPT-6-Astra 可以查看训练集里允许使用的成功示范，从中整理任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法，形成知识包。知识包在正式测试前冻结，模型参数保持不变，测试任务之间也不交换新的经验。
这相当于让模型先研究已有操作资料，再进入考场。机器人遇到当前场景时，可以检索相近的示范动作，结合眼前物体的位置加以调整。它利用了任务经验，但没有通过重新训练模型权重来学习这些动作。
图 2：ICL 训练范式。
第二个条件是增加执行步数。传统具身评测通常会限制机器人的最大动作步数，一旦达到上限，即便任务只差最后几个动作，也会被判定为失败。
研究团队在标准执行预算（1×）的基础上，允许模型最多使用 10 倍的动作步数。当机器人抓取失败、物体偏移或者操作没有达到预期时，可以继续观察环境，调整操作方案并重新尝试。
这一调整带来的效果立竿见影，以 RoboDojo 基准为例，其上的成功率从标准预算下的 27.6% 提高到 10× 预算下的 81.9%。Bench2Dex 也从 25.6% 提高到 61.5%。在这类需要反复调整抓取位置、双手配合和接触精度的任务中，GPT-6-Astra 具备了一定的失败恢复能力。
图 4：GPT-6-Astra 的任务成功率随允许执行的操作步数增加而变化。
然而，这样的提升并没有发生在所有基准上。在家庭长程基准 BEHAVIOR 中，成功率只有 37.0%。在长程导航基准 LHPR-VLN 中，即使扩展执行预算，成功率也只有 28.9%。可以看到，对于这些需要持续管理多个子任务的复杂场景，增加操作次数带来的帮助相对有限。
即使能纠错，仍可能越做越糟
商汤 SenseNova 及其联合研究团队整理的失败案例中，有一个场景很有代表性：机器人需要把杯子挂在挂钩上。GPT-6-Astra 通过头部摄像头观察，发现杯柄似乎已经与挂钩重合，于是判断操作成功。但从另一个摄像头视角看，杯子其实没有挂上去，反而落在了桌面。模型随后还尝试重新抓取，但又把机械夹爪闭合误认为已经接触到了杯子，导致后续操作继续出错。
拼图任务也出现了类似情况。GPT-6-Astra 判断四块拼图已经组成目标形状，但实际上仍有部分位置没有对齐。由于无法识别哪里出了问题，它不断调整拼图位置，却将原本接近完成的部分重新弄乱。
这两个案例说明，即使模型能够理解任务目标，也可能无法准确判断物理操作是否真正成功。在语言或软件任务中，很多结果可以通过文本、程序输出或者测试反馈进行验证。但在机器人操作中，物体看起来放到了正确位置，并不代表它稳定接触、支撑、对齐或固定到位。机器人需要判断的是物体之间真实的接触和位置关系，但对于 GPT-6-Astra 来说，这存在困难。更麻烦的是，物理世界中的一些错误发生后很难补救。
在 RoboDojo 的倒液体任务中，GPT-6-Astra 操作时把杯子碰倒，液体洒在了桌面上。模型随后将杯子扶正，尝试继续倒入液体，但洒出的部分无法通过简单重试恢复。在 DexJoCo 的装配任务中，一个零件从机械手中滑落到地面。GPT-6-Astra 判断零件超出可操作范围，停止了后续动作。
这解释了为什么增加执行步数不一定能够解决所有问题。如果机器人只是抓取位置偏了一点，可以重新观察并调整夹爪。但如果物体已经损坏、液体已经洒出，或者零件落到了无法触及的位置，更多的操作尝试也未必有用。
图 6：(a)、(b) 和 (c) 分别对应物理成功条件误判、后果难以撤销的动作以及长任务中已完成状态遭到破坏。
长任务又多出一层麻烦。收纳笔记本电脑和耳机时，GPT-6-Astra 已经把笔记本放好，也将耳机挂在了支架上。可它随后返回调整耳机位置时，又把耳机碰落了下来。直到最后，耳机也没有被重新挂好。这类失败很容易被忽略。机器人完成一个步骤后，环境不会永远保持原样。一旦此前完成的条件被破坏，后续任务就可能受到影响。这意味着，随着模型越来越擅长规划和纠错，物理执行过程中的验证与恢复成为新的难点。
装上更强大脑 执行成本是一大难题
有些评测虽然几乎被解决，而时间和 Token 开销惊人。LIBERO-Long++ 在标准预算下的成功率已达到 97.5%，但每个测试回合平均仍需消耗约 100 万 Token，推理和工具使用耗时接近一个小时。在任务更长的 LIBERO-Ultra-Long 上，平均 Token 消耗达到约 900 万，耗时接近两个小时。在 RoboDojo 的扩展预算测试中，单个回合平均耗时甚至超过三个小时。
这些时间并没有都花在机器人运动上，大量时间用于模型推理、检查执行结果和调用工具。任务难度越大，反复思考和尝试所带来的开销越不容忽视。
图 5：(a) 平均每任务 token 用量，(b) 平均每任务耗时。
既然增加尝试次数带来了高昂的时间和 Token 开销，商汤 SenseNova 及其联合研究团队开始探索减少不必要的模型调用，让每次推理和纠错更有效。为此，他们把注意力转向 Harness，也就是连接模型、环境观察和机器人控制接口的执行系统。
在 RoboDojo 基准上，让 GPT-6-Astra 充当负责推理和动作审查的 System 2，让经过该评测任务微调的 π0.5 VLA 充当提出动作的 System 1，并比较不同协作方式。
开环协作中，GPT-6-Astra 给出子目标，VLA 生成并执行动作，成功率只有 5.83%。闭环协作则会把 VLA 提出的候选动作转换为末端执行器运动，让 GPT-6-Astra 在执行前决定接受、修改还是拒绝。每次审核 4 个候选动作时，成功率升至 25.83%。再结合 ICL，在每次审核 2 个候选动作的配置下，闭环协作达到了 54.17% 的成功率，但 Token 消耗达到约 1933.5 万，是未结合 ICL、每次审核 4 个动作的闭环配置的约 6.9 倍。
图 7：RoboDojo 基准上，不同 System 1/System 2 协作策略及动作接口的 Token 成本与成功率对比。
除了模型与 VLA 的协作，Harness 还需要解决一个问题：怎样把大模型的决策转化为机器人能够准确执行的动作。
研究团队在 GPT-6-Astra 直接控制机器人的实验中发现，让模型直接指定机械臂各关节角度，成功率只有 9.72%；而改为指定机械臂末端的位置和姿态，成功率提升至 15.83%；进一步采用相对方向和移动距离描述动作，成功率达到 18.06%。「让大模型负责判断机械臂往哪里移动，具体关节运动交给底层控制器处理，效果更好。」
另一个影响成功率和成本的因素是模型的调用频率。每执行一步都重新调用模型，虽然便于及时调整，但开销较高。连续执行固定的多步动作，又可能错过环境变化。他们让模型根据情况选择一次执行 1 至 4 步，成功率从 15.83% 提升至 20.00%，Token 消耗则从 256 万降至 114.6 万。
这些实验都指向 Harness 设计中的一个重要取舍：大模型在必要时参与判断和纠错，同时尽可能减少不必要的调用。执行系统如何安排这两者，将直接影响机器人的成功率和 Token 开销。
八个真机平台 能抓能走，精细操作碰壁
仿真评测成绩再高，机器人还是要进入真实的物理环境。为了验证 GPT-6-Astra 的实际能力，商汤 SenseNova 及其联合研究团队将其部署到 8 个真实机器人平台，覆盖五类不同形态，包括 Franka 3、Franka Panda 等单臂机械臂、双臂 Piper 机器人、搭载灵巧手的天机 M6S、轮式移动操作机器人，以及宇树 G1 人形机器人。
与前面的仿真实验不同，这组真机实验没有向 GPT-6-Astra 提供成功任务示范，也没有针对机器人进行额外训练。模型获得的是人类编写的结构化信息，包括机器人接口、关节限制、摄像头位置、安全约束，以及部分平台上的操作提示。执行时按真实时间计量， 通常限时 60 分钟，并由现场操作人员负责安全监护。
结果显示，在这些条件下，同一个 GPT-6-Astra 确实能够控制不同形态的机器人完成一系列操作：在刚性物体抓取与放置任务中，18 次测试成功了 17 次。在宇树 G1 上，GPT-6-Astra 通过底层控制接口，完成了 3 次机械臂操作中的 2 次，以及全部 3 次转身、行走和停止任务。
不过，一旦涉及精细接触和长程任务，成功率就会明显下降。在 Franka 3 的布料折叠任务中，4 次尝试成功了 2 次。在三个机器人平台上的插头插入任务中，累计 11 次尝试全部失败。在 AgileX Tracer 的长程导航与搜索任务中，23 次测试只成功了 9 次。
图 8：零样本真实机器人控制：从简单到复杂的不同机器人形态。
这些结果反映出，机器人能够完成刚性物体抓取，并不意味着它能 hold 住柔性物体操作、精密接触和长程自主任务。但真机实验中也出现了一个让人感到意外的现象。
在插花任务中，机器人需要抓住花茎，将花插入花瓶。单臂 Franka 3 尝试执行时，腕部摄像头只能看到被夹爪抓住的花茎，看不到下方花瓶口。由于缺少关键视角，机器人最终没有成功。在换成双臂 Piper 后，情况发生了变化。GPT-6-Astra 控制一只机械臂抓住花茎，同时主动移动另一只空闲机械臂，让它的腕部摄像头逐渐靠近花瓶口。当模型获得清晰视角后，便顺利完成了插花操作。
这一行为体现出了「主动视觉」能力。GPT-6-Astra 在没有任务示范的情况下，能够主动改变视角，为研究通用模型理解并利用机器人自身的感知能力提供了一个有价值的案例。
图 9：GPT-6-Astra 能做什么，取决于它能看到什么。
真实世界还暴露出了仿真环境很难充分体现的问题。首先是安全。在一些操作中，机械臂因为接触桌面或发生关节碰撞触发保护停机，导致任务直接中断。其次是机械负载。在天机 M6S 上的重复抓取尝试中，灵巧手部分手指关节因负载问题停滞，温度升至 62 摄氏度，中断了操作。
模型的决策速度同样是问题。在宇树 G1 的实验中，GPT-6-Astra 约 90% 的运行时间都花在决策思考上，一次操作实验可能耗时超过一小时。机器人长时间等待模型生成下一步动作，硬件持续占用，时间成本、设备风险和人工监督成本不断累积。
对机器人厂商来说，让模型的判断准确转化为物理动作，并在不同任务和环境中保持稳定，成为产品落地的重要考验。
具身评测接近满分 接下来考什么？
当 GPT-6-Astra 在多项具身评测中取得接近满分的成绩，商汤 SenseNova 及其联合研究团队开始重新审视一个问题：这些高分究竟能在多大程度上反映机器人在现实生活中的能力？
现有具身评测大多围绕明确的任务目标展开，而生活中的任务往往没这么简单。假设用户对机器人说：「帮我准备早餐。」如果用户 15 分钟后就要出门，那么 10 分钟内准备好鸡蛋和面包，可能比花一个小时做出丰盛的早餐更有价值。机器人还要记得关火、关冰箱门，不能因为忙着做饭，就把厨房弄得一团糟。
按照部分现有评测的规则，只要食物达到指定熟度，即使随后被烧焦，也可能仍然满足成功条件。他们以 BEHAVIOR-1K 的烹饪任务为例，指出了这种评测方式的局限。
图 10：传统具身评测与新评测方式的对比。前者主要检查任务是否达到预设目标，后者进一步考虑完成时间、实际效果，以及操作过程中需要遵守的安全要求。
他们认为，未来的具身评测需要做出一些调整。任务应当更贴近人的实际需求，允许机器人自行决定完成方式，并考虑最终结果对用户的价值。测试时也不应默认提供现成的成功示范，让机器人有机会在陌生环境中自行探索。同时，推理耗时也需要纳入评价。
为了验证这些想法，研究团队利用 NVIDIA Isaac Sim 构建了一套可交互的单卧室家庭环境，配备冰箱、水槽、炉灶、空气炸锅等家用设备，模拟物体接触、液体流动和加热过程。GPT-6-Astra 通过仿真机器人 AgiBot G2 的摄像头和机器人状态信息观察环境，在没有任务示范的情况下，尝试完成准备早餐、整理桌面和收纳物品等任务。
GPT-6-Astra 暴露出不少问题（下图 12）。整理桌面时，机械臂碰倒了其他物品，甚至推歪了显示器。收纳食品时，它把牛奶放进冰箱后转身处理水果，冰箱门却一直敞开。面对陌生的水龙头，机器人反复推动本应旋转的把手，没能及时关水，导致水槽溢水。煎蛋时，模型虽然判断鸡蛋已经煎好，也决定关火，但直到约 90 秒后才关炉火。 此时鸡蛋已经烧焦，余热还在继续加热。
这些家庭实验目前还只是小规模探索，并不能代表机器人实际部署后的表现。但从鸡蛋煎熟后又被烧焦，到牛奶放进冰箱忘记关门，都说明只看任务是否完成，很容易漏掉执行过程中发生的问题。
恰恰是这些问题，为进一步改进机器人系统提供了线索。如果每次失败都能留下完整的执行记录，研究人员就有机会找到问题发生在哪一步，并验证不同的改进方案。
从失败中学习 机器人系统开始自我改进
回顾这项研究，我们可以发现一个贯穿始终的现象。GPT-6-Astra 在机器人任务中的表现，与已有经验的利用程度以及模型与执行系统之间的配合程度呈现正相关。提供任务示范、调整动作接口、增加反馈检查，都可能在不更新模型权重的情况下，显著改变成功率。
这就为另一个研究方向提供了空间：如何让机器人从过去的失败中积累经验并尽可能避免在下一次执行时犯同样的错误？围绕这一方向，商汤开展了 SenseNova-RoboRSI 研究，尝试让 Harness 根据任务反馈改进。核心思路是：构建面向机器人任务的统一 Agent 运行与评测框架。
项目地址：https://github.com/OpenSenseNova/SenseNova-RoboRSI
具体来讲，开发者可以将不同模型、机器人控制工具、技能模块和执行环境连接到同一套运行系统中，并通过实际任务反馈观察整个执行过程。这里 Harness 负责管理模型接收哪些信息、什么时候调用工具、以何种方式生成动作以及执行失败后怎么继续处理。
在此基础上，Harness 还要具备持续改进能力。举个例子，机器人在抓取任务失败后，系统利用执行轨迹和反馈信息分析原因，并据此调整动作生成方式、规划策略、反馈检查和记忆组织方式，接着再回到相应的评测任务中进行验证。有效的改进会被保留到后续版本，整个过程无需更新基础模型权重，这一过程对应了递归自我进化（RSI）的思路。
商汤在此前公开的 RoboDojo-Sim 实验中展示了这一方向的初步结果。相较于 GPT-6-Astra 基线，SenseNova-RoboRSI 的平均分从 28.97 提升至 60.08，成功率从 22.48% 提升至 54.17%。
除了 RoboDojo-Sim，SenseNova-RoboRSI 在其他具身评测中也取得了不错的成绩。在 LIBERO-Pro 评测中，其成功率达到 94.50%，高于同样采用 GPT-6-Astra 的 RPent 方法（92.63%）。在 RoboCasa365 的目标厨房环境中，结合任务记忆取得了 64.60% 的成功率，高于 Paimon-0（58.10%）等方法。
SenseNova-RoboRSI-27B-Preview 进一步探索了较小规模模型与 Harness 联合 RSI 的效果，初步评测结果表现同样亮眼。
在 RoboDojo 上，27B 模型通过 VLA 辅助执行取得 26.13 的平均分，比 GPT-6-Astra 基线低 2.84 分。在 LIBERO-Pro 上，VLA 辅助执行和 VLM 直接控制的成功率分别达到 95.0% 和 96.1%，均排名第二，仅次于 GPT-6-Astra。在 RoboCasa365 上，经过 RSI 训练，模型成功率从 26.0% 提升至 46.5%，平均输出 Token 减少 73.3%，任务表现和输出 Token 效率得到双重改善。
接下来，SenseNova-RoboRSI 还将围绕 GPT-6-Astra 实验暴露的问题继续优化，包括将操作经验迁移到其他物体或机器人平台，利用积累的案例更快选择合适的操作策略，减少不必要的大模型调用，把推理资源用在关键决策环节。
GPT-6-Astra 证明了跨机器人形态完成复杂操作的能力，RoboRSI 将重心放在执行系统的自我进化：通过分析失败、改进 Harness，让机器人下一次做得更好。不过，这条路线目前主要在仿真环境中得到验证，能否将收益延伸到真实机器人上，还有待后续检验。
评测成绩距离真实世界的可靠执行还有一段距离。用户不会因为机器人跑分漂亮，就接受它做早餐时忘记关火。具身智能真正走进生活，还是要看机器人能否稳定地把事情做好，并且不给人留下烂摊子。
本文来自微信公众号 “机器之心”（ID：almosthuman2014），作者：关注具身智能的，36氪经授权发布。