Key takeaways · 主要发现
- 零样本轨迹质量排序超过两种专用奖励模型的已报告结果。无需额外的评价任务微调，GPT-6-Astra 的排序 Kendall τa 为 0.8166，高于 Robometer 和 RynnValue-8B 的已报告值 0.655、0.675；直接偏好准确率达到 92.4%。
- 上下文示例明显改善成败判断，但并非所有评价任务都受益。加入五个示例后，RoboFail 成败准确率从 64.91% 提高至 85.96%；轨迹排序加入三条参考轨迹后，τa 则从 0.8166 降至 0.7953。
- 进度评分能够反映任务推进与执行失误，但对任务是否成功的判断仍存在误差。零样本进度估计 VOC 达到 93.6；案例中，评分会随物体滑落而下降、随重试成功而回升，但也出现了将成功终点判为未完成的情况。
- 关键状态识别与失败原因判断仍不完美。模型仍会看错决定成败的物体状态、未能准确指出失败原因，或给不同质量的执行相同分数。这些错误分别影响完成判断、行为纠正和轨迹筛选。
Introduction
机器人系统需要能够评价自身的行为：判断任务推进了多少、比较不同执行轨迹的质量，以及识别和解释失败。通用多模态模型能够联合处理视觉观测与任务描述，并通过上下文接收评价要求和示例，为这些判断提供了一种无需额外任务微调的途径。在本报告中，我们研究：通用多模态模型已有的视觉理解与推理能力，能在多大程度上支持对机器人行为的评价？这些能力如何随评价任务、观测信息与上下文示例而变化？
本文以 GPT-6-Astra [1] 为主要研究对象，在 RBM [2] [3] 和 RoboFail [4] 两个 benchmark上开展实证评估。我们考察轨迹质量评分、直接偏好判断、任务进度估计，以及子任务成败判断与解释，分别衡量模型比较执行、追踪任务进度和识别失败的能力。我们进一步比较零样本与带上下文示例条件下的表现，并通过观测带遮蔽的案例，考察可见信息变化时模型回答的变化。
结果显示，GPT-6-Astra 的执行质量比较具有竞争力，但完成判断和失败诊断仍存在明显错误。零样本排序 Kendall τa 为 0.8166，高于 Robometer 报告的 0.655 [2] 和 RynnValue-8B 的 0.675 [5] ；直接偏好准确率为 92.4%。RoboFail 成败准确率在加入五个示例后从 64.91% 提高至 85.96%，但失败漏检也有所增加。在本文中，我们进一步分析这些分数对应的状态判断、质量要求和错误类型。
1. 研究设置
1.1 评价任务与数据集
我们使用 RBM [2] [3] 评估轨迹质量排序、成对偏好与进度估计，使用 RoboFail [4] 评估子任务成败判断与失败解释。
1.2 模型配置与评测条件
我们以 GPT-6-Astra [1] 为主要研究对象，通过提示提供任务与观测，不进行额外的评价任务微调。RBM 评测另包含 GPT-5.6-sol [6] 和 DeepSeek-V4.1-Flash [7] 的零样本比较。
进度估计、独立排序与 RoboFail 失败检测另设上下文学习（ICL）条件；两个 RoboFail 案例还比较了不同观测帧数下的回答。
2. 结果
2.1 轨迹质量与偏好
本节比较三个多模态模型的独立轨迹评分与直接偏好判断，再通过具体案例分析 GPT-6-Astra 的判断依据。
本节视频回放模型输入的 8 帧图像。
2.1.1 轨迹质量排序
我们沿用 RBM-EVAL-OOD 的轨迹质量排序评测方式 [2] [3] ：对轨迹独立评分，并用 Kendall τa 衡量同一任务内评分顺序与“成功 > 次优 > 失败”参考顺序的一致性。零样本条件下，GPT-6-Astra、GPT-5.6-sol 和 DeepSeek-V4.1-Flash 分别达到 0.8166、0.7500 和 0.5300。三种通用多模态模型都表现出质量区分能力，但具体识别能力存在明显的差异；GPT-6-Astra 在本次评测中展现出最佳的轨迹质量区分能力。
GPT-6-Astra 和 GPT-5.6-sol 的排序分数还高于专用模型 RynnValue-8B（0.675） [5] 和 Robometer（0.655） [2] 的报告结果。
Case Study：区分抽屉关合与仍然敞开
xArm 的关抽屉任务中，A 的参考标签为成功，B 为失败。GPT-6-Astra 分别给出分数 1.00 和 0.00，正确区分了两条轨迹的质量；DeepSeek 的对应分数为 0.20 和 0.30，顺序与参考相反。
| 轨迹 / 参考标签 | GPT-6-Astra | DeepSeek-V4.1-Flash |
|---|---|---|
| A · 成功 | 1.00 | 0.20 |
| B · 失败 | 0.00 | 0.30 |
输入帧中，A 的抽屉前面板被推回，最后不再露出抽屉内部；B 最后仍明显敞开。GPT-6-Astra 指出了这一最终状态差异。DeepSeek 却称 A 的抽屉仍处于初始打开位置。
查看两模型的逐字理由
- GPT-6-Astra · A · 1.00
- The robot pushes the protruding drawer inward until its front is flush with the cabinet frame and the open top is no longer visible. The final frames show the drawer closed.
- GPT-6-Astra · B · 0.00
- The drawer remains extended with its open interior clearly visible in the final frames. The robot gripper enters the drawer, but no sustained closing motion or closed final state is shown.
- DeepSeek-V4.1-Flash · A · 0.20
- The robot arm approaches and may contact the drawer handle, but the drawer remains in its initial open position; no visible closing motion or flush final state is achieved.
- DeepSeek-V4.1-Flash · B · 0.30
- Drawer moves slightly toward closed after initial handle contact, but remains visibly open in the final frame; no complete closure achieved.
Case Study：搬的是香蕉，还是橙色物体
MIT Franka 的任务要求把香蕉从蓝盘移到绿盘。A 的参考标签为成功，B 为次优；GPT-6-Astra 的独立分数是 A 1.00 > B 0.00，符合参考顺序。DeepSeek 给出 A 0.50 < B 1.00，形成反序。
| 轨迹 / 参考标签 | GPT-6-Astra | DeepSeek-V4.1-Flash |
|---|---|---|
| A · 成功 | 1.00 | 0.50 |
| B · 次优 | 0.00 | 1.00 |
A 的末帧显示香蕉已到绿盘边缘，B 搬到绿盘的则是橙色物体，香蕉仍留在蓝盘。GPT-6-Astra 区分了目标物体；DeepSeek 却认为 B 中搬运的是香蕉。
查看两模型的逐字理由
- GPT-6-Astra · A · 1.00
- The robot grasps the banana from the blue plate, carries it to the green plate, and opens its gripper. The final frame shows the banana resting on the green plate near its rim, with the carrot left behind.
- GPT-6-Astra · B · 0.00
- The robot grasps and releases the orange object onto the green plate, not the banana. The yellow banana remains on the blue plate in the final frame, so the requested transfer is not completed.
- DeepSeek-V4.1-Flash · A · 0.50
- The robot correctly picks the banana (not the carrot) from the blue plate and moves it toward the green plate. However, the final frame shows the banana still held/at the green plate edge rather than clearly released and resting on the green plate; placement is incomplete.
- DeepSeek-V4.1-Flash · B · 1.00
- The robot grasps the banana from the blue plate, lifts it, and releases it onto the green plate; the final frame shows the banana resting on the green plate.
GPT-6-Astra 的排序错误：逆序与平分
Case Study：搬错物体与抬盘失误
任务要求把香蕉从蓝盘移到绿盘。一条执行搬走了胡萝卜，香蕉仍在蓝盘、绿盘为空，GPT-6-Astra 给出 0.00；另一条抬起并倾斜蓝盘，香蕉滑落，未放到绿盘，却得到 0.15。模型已指出两次执行都没有完成目标，但参考将前者标为次优、后者标为失败，因此分数顺序与参考相反。
| 轨迹 | 参考质量 | GPT-6-Astra 评分 |
|---|---|---|
| 搬动胡萝卜 | 次优 | 0.00 |
| 抬盘后香蕉掉落 | 失败 | 0.15 |
分歧出现在对两种未完成行为的相对评价，而不是是否发现目标没有完成。
查看模型原文
- 搬动胡萝卜：0.00
- The robot picks up the orange carrot rather than the yellow banana and releases it to the right of the green plate. The banana remains on the blue plate, and the green plate is empty.
- 抬盘后香蕉滑落：0.15
- The robot approaches the banana but appears to lift and tilt the blue plate instead of grasping the banana. The banana slides or falls off to the right; no placement or release onto the green plate is visible.
Case Study：开盖后，两种质量都得满分
在打开蓝色垃圾桶的两条轨迹中，参考分别标为成功和次优，GPT-6-Astra 却都给出 1.00。它对成功执行的理由是桶盖已抬起、内部明显露出；对次优执行也依据桶盖下方出现开口，判断正确的桶已打开。这里的失分来自同分：模型识别到开盖这一共同结果，却没有在分数中区分质量等级。
查看模型原文
- 参考成功：1.00
- The left gripper lifts the blue bin's lid, leaving its dark interior visibly exposed in the final frames. The red and green bins remain closed.
- 参考次优：1.00
- The left gripper lifts the blue bin’s lid, leaving a visible opening beneath it in the final frame. The correct bin is opened; the red and green bins remain closed.
上下文示例的影响：逆序减少，平分增多
提供三条不同评分水平的参考轨迹后，错序减少但平分增多，Kendall τa 从 0.8166 降至 0.7953，反序率从 4.78% 降至 3.68%，平分率从 8.78% 增至 13.11%。
排序变化的分解
41 个来源–任务组中，8 组提高、10 组下降、23 组不变。下图按评分器的成对权重分解正确顺序、平分与颠倒。
正确顺序 86.44% · 平分 8.78% · 颠倒 4.78%
正确顺序 83.21% · 平分 13.11% · 颠倒 3.68%
2.1.2 直接偏好判断
直接偏好判断将两条轨迹同时提供给模型，要求选择更好的执行。在 1,192 组固定轨迹对上，GPT-6-Astra、GPT-5.6-sol 和 DeepSeek-V4.1-Flash 按六个数据来源等权平均的准确率分别为 92.4%、90.7% 和 82.2%。GPT-6-Astra 与 GPT-5.6-sol 的差距为 1.7 个百分点。作为参照，Robometer 报告的准确率为 82.5% [2] 。
在下面的 case study中，GPT-6-Astra 与 DeepSeek 接收相同的任务、图像和 A/B 顺序。
Case Study：按键亮起，比末帧停留更有说服力
SO101 的按按钮配对中，实际输入 A 为次优，B 为成功，参考偏好为 B。GPT-6-Astra 选择 B，DeepSeek 选择 A。
B 的输入帧显示夹爪下压后按钮亮起，随后撤回；A 在按钮附近停留，但没有同样清晰的亮起证据。GPT-6-Astra 依据激活状态选择 B。DeepSeek 则强调 A 在末帧仍接触按钮、B 已撤回，因此选择相反。
查看两模型的逐字理由
- GPT-6-Astra · 实际选择 B
- B lowers its gripper onto the button, which visibly lights up, then retracts. A approaches the button but shows no clear depression or activation.
- DeepSeek-V4.1-Flash · 实际选择 A
- In A, the gripper descends onto the button and remains in contact with it at the final frame, indicating a press. In B, the gripper approaches the button but then retracts, leaving the button without clear sustained contact/pressing at the end.
Case Study：打开过桶盖，不等于最后仍然打开
Koch 的打开红色垃圾桶配对中，实际输入 A 为失败，B 为成功，参考偏好为 B。GPT-6-Astra 选择 B，符合参考；DeepSeek 选择 A，与参考相反。
两段输入都出现抬盖动作，但 A 在倒数第二张采样图中打开后，最后一张又合上；B 的最后一张仍显示桶盖抬起和桶内开口。GPT-6-Astra 明确指出 A 的回落。DeepSeek 则将 A 描述为最终保持打开，并因 B 的夹爪仍在开口附近而降低对其的评价。
查看两模型的逐字理由
- GPT-6-Astra · 实际选择 B
- Both executions lift the correct red bin's lid, but A's lid falls closed again in its final frame. B ends with the lid raised and the bin interior visibly exposed, achieving the requested open state.
- DeepSeek-V4.1-Flash · 实际选择 A
- A's right arm lifts the red bin lid and retracts, leaving the red bin visibly open; B reaches the red bin but its gripper remains at/in the opening at the final frame, so the release/open state is less complete.
Case Study：拉开笔袋，选中了标记为失败的执行
任务要求拉开笔袋拉链。GPT-6-Astra 选择了参考标为失败的一次：它的理由是拉链滑块向近端移动，后方留下开口；对成功的一次，它却认为滑块向远端移动后两侧仍合拢，像是在拉上拉链。
查看模型原文
- 模型选择参考失败的执行（原文 A）
- A moves the zipper slider toward the near end, leaving a visible opening behind it. B pulls the slider toward the far end and leaves the zipper edges joined, appearing to close rather than unzip the case.
2.1.3 质量标签歧义
质量标签需要把不同维度的执行表现压缩为“成功、次优、失败”三档。下面两组偏好分歧涉及“次优”和“失败”的边界：搬运错误对象是否算部分完成，以及完成部分目标但造成洒落应如何评价。GPT-6-Astra 的回答识别了这些具体状态，但任务描述与三档标签没有明确各项要求的优先级和扣分尺度。
Case Study：搬错对象算“次优”，未抓起目标算“失败”
任务要求把香蕉从蓝盘移到绿盘。A 把橙色物体搬到了绿盘，香蕉仍留在蓝盘，标签为次优；B 在蓝盘上尝试抓取，但没有抓起并转移香蕉，标签为失败。参考偏好因此为 A，GPT-6-Astra 却选择 B，并明确指出两条轨迹都没有完成任务，B 避免了搬运错误对象。
这里的歧义是：对错误对象完成搬运动作，是否应当比未抓起正确对象获得更多质量分？若重视动作流程的完成度，A 完成了抓取、转移和释放；若把对象正确性作为任务进展的前提，A 的这些动作没有推进香蕉转移目标。单一的“次优 > 失败”顺序没有交代这两种标准如何取舍。
查看任务与模型逐字理由
- 任务原文
- Pick up the banana from the blue plate and place it on the green plate
- GPT-6-Astra · 实际选择 B · 参考偏好 A
- Neither execution completes the task: the banana remains on the blue plate in both. A grasps and releases the orange object onto the green plate instead; B makes grasp attempts without a confirmed pickup, but avoids transferring the wrong object.
Case Study：部分倒出并洒落，与尚未倒出如何排序
任务要求把杯中的石子倒到盘子上。A 已倾斜杯子，部分石子落入盘内，同时有石子散落在桌上、仍有石子留在杯中，标签为失败；B 将杯子移到盘子处，但杯子仍直立，石子仍在杯内，标签为次优。参考偏好为 B，GPT-6-Astra 选择 A，理由同时提到了倒入盘内的进展与洒落、残留的问题。
这里需要明确任务进展与操作失误之间的权衡：部分石子已经到达目标位置，应得到多少分？洒落和残留又应扣除多少分，是否足以让它排在尚未倒出的执行之后？“次优”与“失败”的边界取决于这些阈值，而三档标签本身没有给出它们。
查看任务与模型逐字理由
- 任务原文
- Pour the pebbles from the cup onto the plate
- GPT-6-Astra · 实际选择 A · 参考偏好 B
- A visibly tips the cup and leaves many pebbles on the plate, though several spill onto the table and some remain in the cup. B grasps and moves the cup onto the plate but leaves it upright with pebbles still inside, without a visible pour.
要让这些质量等级可解释，可以把对象正确性、目标完成度和附带失误分别列为评价判据，再明确哪些是必须满足的条件、哪些允许部分得分。Flora-Rewarder 提供了按 rubric 步骤评分的接口 [14] ，可用于把这类要求拆开描述。
采样、指标与引用版本
排序与“不同质量”偏好评测复用 Robometer 官方采样和指标规则，使用 seed=44。571 条缓存轨迹中，4 条属于仅含成功样本的任务，按官方规则排除后得到 567 条；偏好配对按每来源最多 500 对采样，共 1,192 对。两项指标均按六来源等权汇总。
本研究 seed=44，当前官方默认值为 42。双方均匀取 8 帧；GPT-6-Astra 通过提示输出评分或 A/B，Robometer 使用训练后的 progress/preference head。正文引用 Robometer v1 的 τa=0.655；v2 对应值约为 0.643。
2.1.4 小结
GPT-6-Astra 的零样本轨迹排序超过两种专用奖励模型的已报告结果，直接偏好准确率达到 92.4%。
在失败案例中，逆序和平分造成了大部分失分；明确任务成功/质量的具体判据，将更有助于区分模型的失败是来自状态识别错误还是质量评价标准本身的分歧。
2.2 任务进度估计
2.2.1 零样本进度估计
除了比较整段执行的质量，我们还考察通用多模态模型能否根据任务描述和截至当前时刻的画面，判断任务已经推进到哪一步。在 105 条成功轨迹上，GPT-6-Astra、GPT-5.6-sol 和 DeepSeek-V4.1-Flash 的零样本 VOC 分别为 93.6、93.5 和 89.7。
GPT-6-Astra 与 GPT-5.6-sol 的时间相关性接近，两者均高于 DeepSeek；GPT-6-Astra 低于 Robometer 报告的 94.8 [2] 。
以下为采样帧回放，非原速视频。每次评分仅使用截至当时的观测；空心起点由协议设为 0，连线仅辅助阅读。
Case Study：分清完成、滑落与搬错物体
这组正向案例展示 GPT-6-Astra 能识别任务相关的状态差异。同样是“把蓝杯放进水槽”，模型区分了成功放置、杯子滑落和搬错物体，而没有把所有机械臂运动都当作进度。
GPT-6-Astra 预测进度
回放帧 0 · 最近采样位置 0 · 协议起点 0.00
点选采样点定位画面；空心点为设定起点。
GPT-6-Astra 预测进度
回放帧 0 · 最近采样位置 0 · 协议起点 0.00
点选采样点定位画面；空心点为设定起点。
GPT-6-Astra 预测进度
回放帧 0 · 最近采样位置 0 · 协议起点 0.00
点选采样点定位画面；空心点为设定起点。
成功的一次执行中，GPT-6-Astra 在蓝杯仍悬于槽外时给出 0.60，放入并释放后升至 1.00；杯子滑落的一次，到达水槽附近时为 0.55，滑落在槽外后降至 0.40；搬错物体的一次，蓝杯始终没有移动，最终进度回到 0.00。这些升降对应了任务目标的推进或受挫，而非单纯的时间流逝。
查看三次终点判断的模型原文
- 成功放置 · 1.00
- The blue cup is now upright inside the sink basin, and the gripper has withdrawn above it. The instructed placement is complete.
- 滑落在槽外 · 0.40
- The cup has moved next to the sink but appears to have slipped from the gripper and is tilted outside the basin. It is closer to the destination, but must be grasped again and placed inside.
- 搬错物体 · 0.00
- The robot has moved the pale object into the sink, not the blue cup. The blue cup remains unmoved at its initial position on the counter.
Case Study：识别受挫后的重试与完成
任务目标是把香蕉从蓝盘移到绿盘，这条轨迹的质量标签为成功。第一次接近后，香蕉仍在蓝盘，手臂已经退回；GPT-6-Astra 的进度由 0.15 降回 0.00。再次接近时，分数回到 0.15；直到最后一次采样观测中香蕉位于绿盘、夹爪离开后，才升至 1.00。模型没有把暂时受挫误当成最终结果，也没有仅凭重新接近就宣告完成。
GPT-6-Astra 预测进度
回放帧 0 · 最近采样位置 0 · 协议起点 0.00
点选采样点定位画面；空心点为设定起点。
查看四次预测的模型原文
- 采样位置 7 · 进度 0.15
- The gripper is positioned close above the banana, but the banana remains on the blue plate after the plate was disturbed. No secure pickup or transfer to the empty green plate is visible.
- 采样位置 15 · 进度 0.00
- The arm has withdrawn from the blue plate, losing the earlier close grasping position. The banana remains on the blue plate and the green plate is empty; no pickup or transfer has been achieved.
- 采样位置 23 · 进度 0.15
- The gripper has returned to the banana at the blue plate's edge, providing a close pickup position. The banana is not visibly lifted clear of the plate, and the green plate remains empty.
- 采样位置 31 · 进度 1.00
- The banana is now resting on the green plate, and the gripper has lifted away. The banana is no longer on the blue plate, completing the requested transfer.
2.2.2 上下文示例与完成判断
加入一条相同或相近任务的带阶段评分轨迹后，VOC 从 93.6 升至 94.2，整体时间相关性略有提高。
Case Study：开瓶相关性提高，完成判断退步
零样本下模型认为瓶盖已分离，终点进度为 1.00；单轨迹示例条件下模型判断瓶盖仍在原位，终点进度为 0.35。该条件的 VOC 更高，但 MSE 也更高。
| 条件 | VOC ↑ | MSE ↓ | 最终进度 |
|---|---|---|---|
| 零样本 | 90.51 | 0.0407 | 1.00 |
| 单轨迹示例 | 95.36 | 0.1312 | 0.35 |
查看两次终点判断的模型原文
- 零样本
- The bottle has tilted away from the white cap, exposing its threaded neck behind the cap. The cap is separated from the mouth, achieving the opening goal.
- 单轨迹示例 ICL
- The bottle remains braced between the foreground jaws while the upper gripper has shifted around it. The white cap still appears seated, with no clear loosening or removal to establish further progress.
逐轨迹进度变化
105 条轨迹中，58 条 VOC 提高、35 条下降、12 条不变；58 条提高的轨迹中，有 11 条 MSE 变差。总体时间参考 MSE 从 0.0402 降至 0.0390。香蕉转移任务的 19 条轨迹中，18 条 VOC 下降、1 条不变。
完整结果数值与来源
| 配置 | 来源 | VOC ↑ | τa ↑ | 偏好 % ↑ |
|---|---|---|---|---|
| GPT-6-Astra (zero-shot) | 本研究 | 93.6 | 0.8166 | 92.4 |
| GPT-6-Astra (ICL) | 本研究 | 94.2 | 0.7953 | — |
| GPT-5.6-sol | 本研究 | 93.5 | 0.7500 | 90.7 |
| DeepSeek-V4.1-Flash | 本研究 | 89.7 | 0.5300 | 82.2 |
| RynnValue-8B | RynnValue Table 2 [5] | — | 0.6750 | — |
| RynnValue-4B | RynnValue Table 2 [5] | — | 0.6700 | — |
| Robometer / RBM-1M (paper v1) | Robometer Tables XIII XVI XVII [2] | 94.8 | 0.6550 | 82.5 |
| Robometer / RBM-1M (web) | Robometer website detailed OOD tables [3] | 94.0 | 0.6430 | 82.5 |
| Robometer / RoboReward data | Robometer paper [2] | 92.7 | 0.5520 | — |
| RoboReward-4B | Robometer paper [2] | 87.9 | 0.5020 | — |
| RoboReward-8B | Robometer paper [2] | 88.2 | 0.4650 | — |
| RoboDopamine-8B (web) | Robometer website [3] | 79.6 | 0.4530 | — |
| TOPReward / Qwen3-VL-8B | Robometer website [3] | 39.7 | 0.1280 | — |
| GVL / GPT-5-mini | Robometer paper [2] | 26.2 | 0.1990 | — |
| VLAC-8B | Robometer paper [2] | 37.5 | 0.0490 | — |
| VLAC-2B | Robometer paper [2] | — | 0.0770 | — |
| ReWiND / RBM-1M | Robometer paper [2] | 50.8 | 0.0140 | — |
| RL-VLM-F / GPT-5-mini | Robometer paper [2] | — | — | 55.5 |
Robometer 报告 [2] 与网站 [3] 分别给出 VOC 94.8 / 94.0、τa 0.655 / 0.643。RBM-1M 和 RoboReward data 指训练数据，空项表示未报告的数值。
2.2.3 小结
GPT-6-Astra 能追踪与任务相关的推进和受挫，但更高的时间相关性不保证更准确的完成判断。
VOC 衡量评分与归一化时间的相关性，但判断任务是否完成，则需要辨认任务完成下的具体状态，两者应分别检验。
2.3 子任务成败判断
2.3.1 总体表现与错误分布
RoboFail 的五示例 ICL 使用人工选取并构造的外部示例。我们从原始 RoboFail 的另外五条真实机器人轨迹中各选一个子任务，组成 2 个成功、3 个失败的“图像—问题—答案”示例。五个示例及其顺序在本次 ICL 请求前固定，所有 57 个测试问题均使用同一组示例，不进行参数微调。成败准确率与综合 ROUGE-L 来自同一批回答。
五个示例的来源、固定顺序与标注方式
示例来自 REFLECT 发布的原始 RoboFail 真实机器人记录 [4] 。按保存的来源与画面核查，这五条示例轨迹均未出现在 57 个测试问题对应的 15 组轨迹中；没有使用测试图像或测试答案作为示例。该对应关系由我们核查，不是作者发布的官方划分或轨迹映射，也不意味着环境、机器人或预训练数据独立。
| 固定顺序 | 原始轨迹 | 示例子任务 | 示例答案 |
|---|---|---|---|
| 1 | appleInFridge1 | 拿起装有苹果的碗 | 失败：拿了空的蓝碗 |
| 2 | secureObjects1 | 拿起刀 | 成功 |
| 3 | appleInFridge2 | 把装有苹果的碗放进冰箱 | 失败：放在冰箱顶部 |
| 4 | appleInFridge4 | 拿起苹果 | 成功 |
| 5 | heatPotato1 | 打开微波炉加热 | 失败：微波炉门仍开着 |
三个失败答案由作者的轨迹级失败说明改写，并核对原始画面；两个成功答案来自我们对成功子任务的视觉标注。示例拼图按照作者动作边界从原始 RGB 构造，按时间排列并将未来区域留白。它们不是 AHA 作者发布的原始五示例，具体图像预处理也不保证与 AHA 完全一致。
示例在这次外部五示例请求前固定，未依据本次 ICL 得分搜索或替换；选择时已有零样本结果，因此不属于盲选或预注册抽样。每次请求依次提供五组图像、问题与答案，再提供当前测试问题；57 个测试问题及其原始输入全部保留。
我们在 RoboFail [4] 的 57 个子任务问题上评估 GPT-6-Astra，输入为子任务描述和关键帧拼图，输出为 Yes/No 成败判断及文字解释。ICL 条件在待评问题之前加入固定的五个外部图像—问题—参考答案示例；零样本条件不提供示例。
零样本准确率为 64.91%，与专用模型 AHA 的报告结果接近；ICL 后达到 85.96%，比 AHA-13B Vicuna 报告的 66.1% 高约 19.9 个百分点 [8] 。两种条件的分类计数见下表。
| 参考标签 → 模型判断 | 零样本 | ICL（5 个示例） |
|---|---|---|
| 准确率 | 64.91% | 85.96% |
| 成功 → 成功 | 5 | 21 |
| 成功 → 失败（误报） | 18 | 2 |
| 失败 → 成功（漏检） | 2 | 6 |
| 失败 → 失败 | 32 | 28 |
完整结果与不同 RoboFail 评测版本
误报率从 78.26% 降至 8.70%，漏检率从 5.88% 升至 17.65%，失败召回率从 94.12% 降至 82.35%。
按来源与画面核查，五条外部示例轨迹与测试轨迹不重叠；详细来源见五示例说明。
| 配置 | 来源 | 准确率 % ↑ | ROUGE-L ↑ |
|---|---|---|---|
| GPT-6-Astra / zero-shot | 本研究 | 64.91 | 0.185 |
| GPT-6-Astra / ICL (5 examples) | 本研究 | 85.96 | 0.499 |
| LLaVA-v1.5-13B | AHA Tables 3/4 [8] | 0.00 | 0.000 |
| LLaVA-NeXT-34B | AHA Tables 3/4 [8] | 1.70 | 0.018 |
| Qwen-VL | AHA Tables 3/4 [8] | 0.00 | 0.000 |
| Gemini-1.5 Flash | AHA Tables 3/4 [8] | 0.00 | 0.000 |
| GPT-4o | AHA Tables 3/4 [8] | 55.40 | 0.114 |
| GPT-4o / 5-shot | AHA Tables 3/4 [8] | 57.10 | 0.236 |
| AHA-7B | AHA Tables 3/4 [8] | 62.50 | 0.204 |
| AHA-13B / Llama-2 | AHA Tables 3/4 [8] | 64.30 | 0.280 |
| AHA-13B / Vicuna | AHA Tables 3/4 [8] | 66.10 | 0.290 |
AHA-13B 的 Vicuna 与 Llama-2 版本分别列出；文献结果采用各自的评测样本。
Guardian [9] 使用 153 个执行样本与 30 个规划样本，PRIMO [10] 使用 Cosmos 筛选的 100 个样本；两者单独列示。
| 配置 | 执行准确率 % | 规划准确率 % |
|---|---|---|
| GPT-4o | 80 | 67 |
| GPT-4o + Sentinel | 80 | 63 |
| RoboFAC-7B | 25 | 5 |
| I-Fail-Sense-3B | 43 | 67 |
| Cosmos-Reason2-8B | 78 | 53 |
| CLIP+MLP + GF | 42 | 43 |
| I-Fail-Sense-3B + GF | 76 | 52 |
| Cosmos-Reason2-8B + GF | 82 | 70 |
| Guardian-8B + GF | 86 | 70 |
| 配置 | 准确率 % |
|---|---|
| Gemini 2.0 Flash | 67 |
| GPT-4o | 63 |
| OpenAI o1 | 61 |
| Claude-haiku-4.5 | 59 |
| Qwen2.5-VL-7B | 57.6 |
| Nemotron-H-56B | 64 |
| Cosmos-Reason1-7B | 60 |
| Cosmos-Reason1-56B | 66.2 |
| PRIMO (SFT) | 51 |
| PRIMO (RL) | 63 |
| PRIMO R1 | 67 |
2.3.2 成败误判的案例分析
零样本识别出 34 个失败中的 32 个，却将 23 个成功中的 18 个误判为失败。以下案例展示这两类错误及 ICL 后的变化。
视频展示原始轨迹，模型输入为配图中的关键帧拼图与子任务问题。
Case Study：按咖啡机按钮
零样本因未看到激活迹象而判为失败，ICL 回答则与成功标签一致。
查看输入与模型回答
参考答案 · 成功
Yes, the robot succeed at the sub-task.
零样本 · 误报
No. The robot arm is near the coffee machine, but it has not visibly pressed the button. The end effector appears misaligned with the control, and there is no visible indication that the machine has been activated.
ICL（5 个示例） · 判断正确
Yes, the robot successfully pressed the button on the coffee machine.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm press the button on the coffee machine. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
Case Study：放碗时的对象要求
参考答案将失败归因于对象错误。零样本却解释为草莓尚未释放，ICL 回答放置成功。输入问题只写“放入碗中”，没有指定应放哪个对象。
查看输入与模型回答
参考答案 · 失败
No, The robot execute the action on the wrong object.
零样本 · 判断正确
No. The robot lowers the strawberry into the bowl but appears to still be holding it with the gripper. The placement is incomplete because the strawberry has not been released.
ICL（5 个示例） · 漏检
Yes, the robot successfully placed the strawberry in the bowl.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm place in the bowl. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
补充对照：两种条件都识别成功
Case Study：抓取苹果
两种条件都正确识别了抓取成功。
参考答案 · 成功
Yes, the robot succeed at the sub-task.
零样本 · 判断正确
Yes. The robot has successfully picked up the apple: in frame 2, the apple is held by the gripper and lifted clear of the countertop. No failure is visible.
ICL（5 个示例） · 判断正确
Yes, the robot successfully grasped the apple and lifted it off the countertop.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm performing pick up of the apple. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
2.3.3 上下文示例与观测信息
旋钮案例中，增加观测改变了 ICL 判断，零样本判断则保持不变。 旋钮和切片两例分别比较前 1 帧、前 2 帧与全部输入帧；每个条件请求一次，用于观察回答对可见信息的反应。
Case Study：抓取炉灶旋钮
参考答案为失败：夹爪未闭合。零样本判为失败，理由是抓取位置不对；ICL 条件下判为成功。
查看输入与模型回答
参考答案 · 失败
No, The robot gripper fails to close the gripper.
零样本 · 判断正确
No. The gripper is positioned over the burner area rather than around a stove knob, so it has not established a secure grasp on the knob.
ICL（5 个示例） · 漏检
Yes, the robot successfully grasped the stove knob.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm grasp onto the stove knob. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
ICL 回答在前 1、2 帧时均为失败，看到全部 4 帧后改为成功；零样本在三种观测条件下均回答失败。
查看不同帧数下的输入与回答
1 帧
零样本
No. The gripper is positioned near the sink, away from the stove knobs, and has not closed around a knob.
ICL（5 个示例）
No, the robot’s gripper is positioned away from the stove knobs and has not grasped one.
2 帧
零样本
No. The gripper is positioned above the pot near the sink rather than around a stove knob, so it has not established a grasp on the target.
ICL（5 个示例）
No, the robot grasped and lifted the pot instead of grasping the stove knob.
4 帧
零样本
No. The robot moves its gripper toward the stove, but it does not securely grasp a stove knob. The gripper remains above the burner area rather than closing around the knob.
ICL（5 个示例）
Yes, the robot successfully grasped the stove knob.
Case Study：切胡萝卜
参考答案为成功；零样本和 ICL 条件均因未看到分离的切片而判为失败。
查看输入与模型回答
参考答案 · 成功
Yes, the robot succeed at the sub-task.
零样本 · 误报
No. The arm moves toward the carrot, but the blade does not complete a cut through it. The carrot remains intact on the board, with no visibly separated slice.
ICL（5 个示例） · 误报
No, the carrot remains whole on the counter; the robot did not successfully cut it into slices.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm slice the carrot. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
从 1 帧到全部 3 帧，两种条件始终回答失败，与成功标签不符。
查看不同帧数下的输入与回答
1 帧
零样本
No. The carrot remains intact on the cutting board; the robot has not completed a cut or separated a slice.
ICL（5 个示例）
No, the carrot remains whole on the counter; the robot has not cut it into slices.
2 帧
零样本
No. The robot arm moves upward without visibly completing a cut through the carrot. The carrot remains on the cutting board, with no newly separated slice visible.
ICL（5 个示例）
No, the robot picked up the knife but did not slice the carrot; the carrot remains whole on the countertop.
3 帧
零样本
No. The arm moves toward the carrot, but the blade does not complete a cut through it. The carrot remains intact, with no visibly separated slice.
ICL（5 个示例）
No, the robot placed the knife across the carrot but did not cut through it. The carrot remains whole.
2.3.4 小结
示例减少了对成功执行的误判，但失败漏检反而增加。
总体准确率的增益主要来自成功子任务的识别。若将评价用于发现执行失败，还需单独考察失败检出率，不能由总体准确率推断。
2.4 失败解释与得分
本节分析 2.3 中同一批回答的综合 ROUGE-L，并区分成功识别与失败解释的贡献。
这里的 ICL 使用与成败判断完全相同的五个人工构造的外部示例，没有为解释指标另选示例或重新请求模型。
2.4.1 总体表现与基线比较
ICL 后的综合 ROUGE-L 为 0.499，零样本为 0.185。其中，成功识别项从 0.0877 增至 0.3684（+0.2807），失败解释项从 0.0969 增至 0.1305（+0.0336）。
GPT-6-Astra 使用五个示例进行 ICL 后的综合得分高于 AHA 报告中的 AHA-13B Vicuna（0.290）、AHA-13B Llama-2（0.280）、AHA-7B（0.204）和 GPT-4o 的 ICL 结果（5 个示例，0.236） [8] 。
综合评分规则与分项计算
综合 ROUGE-L 不只衡量失败解释。按 AHA 评测规则 [8] ，正确成功回答计 1 分，正确失败回答按解释与参考答案的词干化 ROUGE-L F1 计分，成败标签错误则计 0 分。所有问题得分相加后除以 57。评分使用原始英文回答，不使用本文的中文转述。
成功识别项从 0.0877 增至 0.3684，增量约为 16 / 57 = 0.2807，占报告总增量 0.3144 的约 89.3%。失败解释项从 0.0969 增至 0.1305，占剩余约 10.7%。因此，0.499 不能读作“49.9% 的失败解释正确”；大部分增量来自识别成功，而非失败解释项。
2.4.2 失败解释得分与原因分析
失败解释项提高，但正确检出的失败数从 32 个降至 28 个。
Case Study：拿刀时的对象错误
两种条件都判为失败：零样本回答“没有抓住刀”，ICL 回答进一步指出“拿到的是勺子”，与参考的对象错误一致。
关键帧来源与展示方式。 这两张观测帧来自 AHA 公开 RoboFail 测试样本中已有的输入拼图。网页将拼图中的观测区域裁剪并按时间顺序重新排版，省略白色未来占位区域；我们没有从原始视频重新等间隔切帧，也没有让模型重新选择关键帧。模型实际接收的是原始拼图与子任务问题，旁边的连续视频仅供读者回看。
通过像素相似度与人工画面核查，两帧对应原始视频约 30.00 / 37.63 秒。这些时间仅标记观测帧在视频中的位置，并非人工失败区间或模型报警时刻。现有公开材料尚不足以确认原作者是否按固定间隔、动作边界或其他规则选帧，因此不能将这两帧描述为已确认的固定切分结果。
查看输入与模型回答
参考答案 · 失败
No, The robot execute the action on the wrong object.
零样本 · 判断正确
No. The knife remains on the countertop beside the sink while the robot arm lifts away without securing it. The grasp failed, so the knife was not picked up.
ICL（5 个示例） · 判断正确
No, The robot picked up the spoon instead of the knife.
In the image, it contains many frames from a single view at different time steps in a matrix arrangement depicting the robot arm performing pick up the knife. Each frame is labeled with the corresponding timestep reflecting the temporal information from left to right. The white grid represents future sub-tasks that has yet to happen and should be ignore. For the given sub-tasks, first determine it has succeed by choosing from ["yes", "no"], and then explain the reason why the current sub-tasks has failed.
旋钮案例中，零样本同样判对失败，但强调抓取位置，参考答案则强调夹爪未闭合。
2.4.3 小结
综合 ROUGE-L 的提高主要来自成功识别，失败解释项的增幅较小。
拿刀与旋钮案例说明，判对失败不等于说清失败原因，失败解释还需指出具体的对象、位置或动作问题。
3. 讨论与展望
3.1 主要发现
通用模型无需针对评价任务额外微调，也能完成有竞争力的机器人执行质量比较。GPT-6-Astra 的零样本排序与偏好结果可与所引用的专用奖励模型竞争，GPT-5.6-sol 的排序也高于两项专用模型报告值。这表明，部分执行评价能力已能通过任务描述和视觉观测直接调用；不同通用模型的表现仍有差异。
案例中的评分能够反映任务相关的状态变化，包括失误和重试。抽屉、按钮和红桶案例中的判断对应了关合、激活和桶盖回落等状态；蓝杯滑落后，进度分数下降，香蕉重试完成后，分数回升。这些评分随任务相关事件变化，并非只随时间增加。
在 RoboFail 实验中，五个上下文示例明显改善了成功子任务的识别。23 个成功子任务的正确识别数从 5 个增至 21 个。这一改善仅通过在输入中加入示例实现，无需更新模型参数。
3.2 GPT-6-Astra 在哪些情况下会判断失误
看错关键状态，误判任务是否完成。 开瓶案例中，加入参考轨迹后，GPT-6-Astra 将已分离的瓶盖描述为仍在原位；笔袋和旋钮案例也出现了对拉链开合或夹爪闭合状态的误判。模型能够描述操作过程，却可能看错决定成败的关键状态；加入示例也未消除这类错误。
知道任务失败，却没有找对失败原因。 拿刀和旋钮案例的零样本回答都判对失败，却未指出参考中的对象错误或夹爪未闭合问题。因此，正确的成败标签还不足以提供可用于纠正行为的反馈，还需要正确地指出具体出了什么问题。
能识别具体状态变化，但质量标签本身存在歧义。 搬香蕉与倒石子案例中，GPT-6-Astra 区分了“搬错对象与未抓起目标”，以及“部分倒出并洒落与尚未倒出”。如何把这些状态映射为“次优”和“失败”，还取决于质量标准：搬运错误对象是否应计入部分完成，洒落的代价又应抵消多少任务进展？明确这些要求的优先级和阈值，才能让轨迹质量排序具有一致的含义。
3.3 局限与未来工作
本研究仅在 RBM 和 RoboFail 两个基准上开展验证，数据与任务覆盖有限。作为对照的专用模型通常针对这些基准所考察的评价任务进行了专门设计。目前仍缺乏跨数据集、跨任务和跨机器人平台的大范围验证。
强化学习验证。下一步将比较直接使用校准后的进度或成败奖励，以及用轨迹偏好训练奖励模型两条路径。固定策略初始化、训练算法与交互预算，与稀疏环境奖励及专用 critic 对照，报告多随机种子下的成功率、样本效率和调用成本；由独立环境标准或人工复核判定成功，并检查新策略是否利用伪完成状态等评价漏洞。本文尚未开展这些闭环实验，不报告策略提升。
评测设置与指标
| 评价任务 | 输入与输出 | 评测样本 | 评价指标 |
|---|---|---|---|
| 轨迹质量排序RBM-EVAL-OOD | 输入任务描述；每条轨迹采样 8 帧 输出独立评分后，在来源–任务组内排序 | 567 条轨迹 41 个来源–任务组 |
Kendall τa ↑ |
| 直接偏好判断RBM | 输入同一任务的两条轨迹；每条采样 8 帧 输出选择较优轨迹 | 1,192 组轨迹对 | 准确率 ↑六来源等权 |
| 任务进度估计RBM-EVAL-OOD | 输入任务描述；截至当前的采样观测；此前评分 输出进度评分（0–1）与简要理由 | 105 条成功轨迹 每条轨迹预测 4 次 |
VOC ↑ 时间参考 MSE ↓ |
| 成败判断与解释RoboFail | 输入子任务问题；关键帧拼图 输出成败标签与失败解释 | 57 个问题／15 组轨迹 23 个成功／34 个失败 |
准确率 ↑ 失败召回率 ↑ 误报率／漏检率 ↓ 综合 ROUGE-L ↑ |
RBM 排序协议。采用 RBM 的质量标签顺序与 Kendall τa 指标 [2] ，本次运行包含 567 条轨迹、41 个来源–任务组。官方采样器按任务和质量标签选取轨迹，数量可配置；567 是本次运行的样本数，不是基准固定规模。
RoboFail 协议。RoboFail 由 REFLECT 提出 [4] 。本文采用 AHA 提供的问答评测形式 [8] ，在本研究记录的 57 个问题上评估；该问题集合不等同于原始数据集的全部内容，也不假定与其他文献的评测子集完全一致。
上下文示例。 GPT-6-Astra 的示例条件按评价任务分别设置：
- 进度估计：一条相同或相近任务的训练轨迹，附六个阶段评分。
- 独立排序：随机选取高、中、低分训练轨迹各一条，不要求与测试任务相同；中等参考分数不等于测试集的“次优”标签。
- RoboFail：从另外五条原始 RoboFail 真实轨迹中人工选取并构造五个外部图像–问题–答案示例（2 个成功、3 个失败），并非从训练集随机抽样。所有测试问题复用同一组及顺序；来源与标注方式见五示例说明。
直接偏好仅评估零样本。
观测遮蔽。两个 RoboFail 案例分别使用前 1 帧、前 2 帧与全部观测，在零样本和 ICL 条件下各请求一次，共 12 次。少帧条件没有时间级真值，只比较模型回答。
结果来源。图中 [S] 为本研究，[P]、[W]、[R]、[A] 分别为 Robometer 论文、项目网站、RynnValue 与 AHA。RBM 排序与“不同质量”偏好沿用官方采样和指标规则；随机种子、模型接口与引用版本见 2.1 的折叠说明。RoboFail 的文献对照使用不同问题集合，范围见 2.3。
案例对照。四组正例为评测后的说明性选例，不用于估计整体错误率。GPT-6-Astra 与 DeepSeek 使用相同任务、轨迹、提示和输入图像，不接收参考质量标签；偏好案例保留实际 A/B 顺序。两者推理配置与计算预算未匹配：GPT-6-Astra 为 low、输出上限 512 token，DeepSeek 为 max、上限 32768 token。未进行 A/B 交换复测，也没有匹配的 Robometer 逐条输出。
回放与曲线。2.1 的排序与偏好案例回放各轨迹的 8 张模型输入图像，每秒 1 张，封面取最后一张；新增正例在 32 张保存帧中的采样位置为 0 / 4 / 9 / 13 / 18 / 22 / 27 / 31。2.2 的进度案例将 32 张保存帧按每秒 4 帧回放，评分位置为 0 / 7 / 15 / 23 / 31；起点由协议设为 0，其余四点为模型预测。以上回放均非原速视频，采样位置不是秒数。曲线连线仅辅助阅读，中间位置没有额外预测或人工标注。
进度评测的起点 0 由协议设定，与四次模型预测共同构成五个评分位置；统计时使用同一时间参考。
独立排序：Kendall τa。同一来源–任务组内，参考顺序为成功 > 次优 > 失败。按官方评分器纳入轨迹对，预测顺序正确计 +1、颠倒计 −1、平分计 0；组内得分为 (C − D) / N。先对任务取平均，再对六个来源等权平均。
直接偏好：六来源等权准确率。先计算每个来源内选对较优执行的比例，再对六个来源取平均。cₛ 为来源 s 的正确选择数，nₛ 为该来源的评测对数，共 1,192 对。
进度：VOC 与时间参考 MSE。 RBM 的 VOC 定义使用 Pearson 相关系数。对一条轨迹，在评估位置 i 记预测为 pᵢ，归一化帧位置对应的时间参考为 tᵢ，先计算二者的相关性；正文按 ×100 展示，越高越好。MSE 则检查预测数值与同一时间参考的距离，越低越好。
VOC = 100 × r
MSE = (1 / m) Σᵢ(pᵢ − tᵢ)²
m 为评估位置数，跨来源汇总沿用官方评分器。时间参照是归一化帧位置，并非人工标注的语义完成度。
成败分类：准确率、失败召回率、误报率和漏检率。以失败为正类：TP 是正确识别的失败，FN 是漏掉的失败，TN 是正确识别的成功，FP 是把成功误判为失败。准确率为 (TP + TN) / 57；失败召回率为 TP / 34；误报率为 FP / 23；漏检率为 FN / 34。四项都以百分比报告。它们评估的是回答，不是机器人实际执行成功率。
失败解释：AHA 综合 ROUGE-L，越高越好。标签错误计 0；正确成功计 1；正确失败按原始英文解释与参考答案的词干化 ROUGE-L F1 计分。对后一项，令 L 为两个词元序列的最长公共子序列长度，P = L / 生成词元数，R = L / 参考词元数，F1 = 2PR / (P + R)，无重合时为 0。将 57 个问题的得分求和后除以 57。该综合指标混合了成功识别与失败文本重合度，第 2.4 节会拆开报告，避免把它读成解释准确率。
下表列出由指标定义和标签数量推导的参照值。
| 非学习参照 | 可推导的结果 | 它说明什么 |
|---|---|---|
| 所有轨迹给同分 | τa = 0 | 不提供质量区分；预测平分没有正贡献。 |
| 二选一均匀随机猜测 | 期望准确率 50% | 仅适用于两个选项中恰有一个正确答案的设定；不是一次实测。 |
| RoboFail 一律回答失败 | 34 / 57 = 59.65% | 失败召回率 100%，误报率 100%；显示只看召回率的局限。 |
| 直接输出时间参考 | VOC = 100; MSE = 0 | 非恒定参考下的理论值；使用了评分目标，不证明视觉理解或任务完成判断。 |
参考文献
- OpenAI. GPT-6 Astra. 模型文档。
- Liang et al. Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons. RSS, 2026.
- Liang et al. RBM-EVAL-OOD. 2026.
- Liu, Bahety, and Song. REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction. CoRL, 2023.
- Huang et al. RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance. 2026.
- OpenAI. GPT-5.6 Sol. 模型文档。
- DeepSeek. Introducing DeepSeek-V4.1-Flash: smarter, faster, more efficient. 2026.
- Duan et al. AHA: A Vision-Language-Model for Detecting and Reasoning over Failures in Robotic Manipulation. ICLR, 2025.
- Pacaud et al. Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models. 2025.
- Liu et al. From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation. ECCV, 2026.
- Zhang et al. An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond. 2026.
- Yang, Khetan, and Zhang. Astranomy: An Empirical Study of GPT-6 Astra as a Native Robot Policy. 2026.
- Galbot Team. Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies. 2026.
- NVIDIA. Flora-Rewarder. 2026.
- Zhai et al. A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning. 2025.
- Lee et al. RoboReward: General-Purpose Vision-Language Reward Models for Robotics. 2026.
- Zhang et al. ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations. CoRL, 2025.
- Wang et al. RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback. ICML, 2024.
- Chen et al. TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics. 2026.
- Tan et al. Robo-Dopamine: General Process Reward Modeling for High-Precision Robotic Manipulation. CVPR, 2026.
- Ma et al. Vision Language Models are In-Context Value Learners. ICLR, 2025.
引用本文
引用本文：
@misc{zhang2026beyondthescore,
title = {Beyond the Score: Early Evaluations of {GPT-6-Astra} as a Robot Critic},
author = {Zhang, Jinhao and Zhang, Yuwei and Zhou, Weitao and Tian, Honglong and Wang, Jiawei and Yu, Haibao and Liu, Xiaoyu and Ma, Jinming and Zuo, Yushen and Wei, Yuteng and Rui, Ke and Li, Minglei},
year = {2026},
month = oct,
organization = {Simple AI},
howpublished = {\url{https://cloud.simpleai.tech/simple-world-lab/beyond-the-score/}},
note = {Research blog}
}