実ロボットの評価エピソード3,718件を公開　7方策・12卓上タスクを収録

何が起きたか

arXivの論文は2026年11月2日、ArmnetBench v0.1評価から得た実ロボットのエピソード3,718件を公開した。内訳は遠隔操作による実演600件と、7つの模倣学習・視覚言語行動（VLA）方策によるロールアウト3,118件で、12の卓上タスクを低コストのSO-101アームで実施した。ロールアウトの73%は失敗だった。

詳細

各タスクの方策は共通の50件の実演データで訓練または微調整し、同じセルでロールアウトした。操作者が各ロールアウトを「成功」「最適でない」「失敗」に分類している。 各エピソードには3視点のカメラ映像、関節状態、行動データが含まれる。データはHugging Face HubでLeRobot v3.0形式と報酬モデル形式で提供され、論文は収集方法と利用上の制約も記述している。

Key Facts

本紙の見方

この公開の軸は、方策の成績だけでなく、実機での個々の実行記録をラベル付きで共有する点にある。3,718件のうちロールアウトは3,118件で、その73%が失敗とされる。したがって、成功例を中心に集めたデータとは異なり、失敗を含む実行過程を、映像・関節状態・行動と評価ラベルの組み合わせで調べられる構成だ。失敗を学習や評価にどう使えるかは、データの公開だけで実証されたわけではない。 比較の条件も特徴となる。各タスクの方策が同じ50件の実演を使い、同じセルで動作したため、異なる方策の実行記録を共通条件の下で見比べる材料になる。一方、方策ごとの学習・微調整の違いや、タスクごとの成功基準など、比較結果の解釈に必要な情報は提示文だけでは確認できない。共通条件があることと、方策間の差を特定の要因に帰せることは別である。 データ形式は、3視点映像だけでなく関節状態と行動も含み、さらに操作者の分類を持つ。これにより、結果ラベルと実行時の動きを対応させて分析する余地が生まれる。報酬モデル形式での提供も明記されているが、公開文は特定の学習効果や性能向上を示してはいない。ラベル付き失敗例のまとまりとしての価値と、実際に方策改善へつながるかは分けて評価すべきだ。 次に確認すべきなのは、論文が触れる利用上の制約の具体的内容、操作者による「最適でない」と「失敗」の判定基準、各タスク・方策別の記録の分布である。ロールアウトの失敗率73%は全体値であり、タスク別・方策別の偏りを示すものではない。こうした内訳やラベルの一貫性を確認できなければ、データを使った比較や報酬学習の結果をどこまで一般化できるかは判断しにくい。

なぜ重要か

このデータは、実演データだけでなく、失敗を含むロールアウトを操作者の分類とともに扱える点で、ロボット方策の評価や学習データの検討に関係する。各タスクで共通の50件の実演と同じセルを使った記録は方策比較の土台になるが、73%という失敗率は全ロールアウトの値であり、個別タスクや方策の成績を示すものではない。