模倣学習/ベンチマーク2026/9/8arXiv:2609.08209

猿は見て学べるか？ロボットの観察によるスキル学習を評価するベンチマーク

Monkey See, Can Monkey Do? A Benchmark for Evaluating Robot Skill Learning by Observation

人間の動画からロボットが操作スキルを学習する際の評価を統一するため、10種類の操作タスクを含むベンチマーク「RoboReel」を提案し、複数の最先端アルゴリズムを比較分析した。

詳しい要約

1. どんなもの？

RoboReelは、人間のデモンストレーションビデオからロボットが操作スキルを学習する能力を評価するための統一ベンチマークである。10種類の操作タスクに対して、実世界の人間デモビデオ、シミュレーションロボット軌道、評価環境をバンドルして提供する。4つのテストスイートにより、視覚的妨害への頑健性や長期的タスクの完了能力など、複数の軸でモデルを評価する。

2. 先行研究と比べてどこがすごい？

既存のLfO研究は、仮定、ハードウェア選択、環境設定が多様で、手法間の比較や進歩の特定が困難だった。RoboReelは、統一されたベンチマークを提供することで、異なる手法を公平に比較可能にし、分野の進捗を明確にする点が優れている。また、7つ以上のSOTAアルゴリズムを評価し、複数の表現選択の効果を分析している。

3. 技術・手法の肝は？

RoboReelは、実世界の人間デモビデオとシミュレーションロボット軌道を組み合わせたデータセットを構築し、4つのテストスイート（例：視覚的妨害への頑健性、長期的タスク）を設計している。評価には、LfOの異なるカテゴリのモデル（VLAベースの変種を含む）を用い、表現選択の影響を調査する。

4. どうやって有効だと検証した？

RoboReelを用いて、7つ以上のSOTAアルゴリズム（VLAベースの変種を含む）を評価し、各テストスイートでの性能を比較した。その結果、長期的タスクや低い許容誤差を持つタスクが現在のモデルにとって依然として困難であることを示した。

5. 議論はある？

要旨からは、長期的タスクと低い許容誤差のタスクが課題であると述べられているが、具体的な議論や限界については不明。また、ベンチマークの設計選択（タスクの選定基準など）や、実世界とシミュレーションのギャップに関する議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、LfO分野の定番として、Learning from Demonstration (LfD) や Imitation Learning の基礎論文、およびVLA (Vision-Language-Action) モデルに関する研究が挙げられる。具体的には、RoboReelのWebページで関連論文が紹介されている可能性がある。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weiwei Gu, Anmol Gupta, Anant Sah, Ryan Varghese, Lalitha Shreya Vanam, Prabhath Adireddi, Peter Karkus, Nakul Gopalan

分類: cs.RO

原文アブストラクト

Learning from Observation (LfO) is a fundamental robotic capability that replicates how humans and animals socially learn from each other. Beyond its biological parallels, this modality provides a practical solution for data scaling in sample-inefficient and data-starved domains like robotics. Recent work has demonstrated promising results in learning manipulation skills from human videos, yet progress in this area remains difficult to assess. Existing methods vary widely in assumptions, hardware choices, and environment setups making it difficult to draw meaningful comparisons and identify advances in the field. To address these challenges, we introduce RoboReel: a unified benchmark for evaluating models that learn policies from human videos. RoboReel consists of bundled real-world human demonstration videos, simulated robot trajectories, and evaluation environments on ten manipulation tasks. We develop four test suites to evaluate the models' performance on multiple axes, including the robustness to visual distractors and the ability to complete long-horizon tasks. Our benchmark covers learning-from-observation models from different categories, and studies the effectiveness of multiple representation choices in our benchmark evaluation that covers over seven state-of-the-art algorithms (including our VLA based variants) in the field of LfO. Finally, we present an analysis of the different types of algorithms showing that long-horizon tasks and tasks with low tolerances are still challenging for current models. Webpage: https://roboreel.github.io

arXivで原文を読む →arXiv概要ページ

← 論文一覧