何が起きたか
研究チームは2026年6月1日、arXivにて「SeeTraceAct: Visibility-Aware Latent Planning from Cross-Embodiment Demonstration Videos」を公開した。このフレームワークは、単一のデモ動画を条件として未知のタスクを実行するロボットポリシーを実現するもので、可視性を考慮した将来のエンドエフェクタ軌跡の予測を通じて、小さな対象領域の正確な空間的接地を促進する。
詳細
SeeTraceActは、デモ条件付きVLA（Vision-Language-Action）フレームワークであり、既存のエンドツーエンド手法が小さな対象領域の正確な位置特定に苦労する問題に対処する。研究チームは、クロスエンボディのデモンストレーションを用いた再現可能な評価のために、RoboCasaのデモ条件付き拡張であるRoboCasa-DCを導入・公開した。RoboCasa-DCには、エピソードとペアになったヒューマノイド動画が含まれる。実験では、Franka Pandaアームが人間のデモンストレーションで条件付けられる実世界ベンチマークを含む複数の設定で、SeeTraceActがベースラインを上回り、RoboCasa-DCの全4設定で最高の成功率を達成し、実世界の平均成功率を12.5パーセントポイント向上させた。
Key Facts
| SeeTraceActは、可視性を考慮した将来のエンドエフェクタ軌跡の予測を通じて、小さな対象領域の正確な空間的接地を促進するデモ条件付きVLAフレームワークである。 | [1] |
| 研究チームは、RoboCasaのデモ条件付き拡張であるRoboCasa-DCを導入し、エピソードとペアになったヒューマノイド動画を含むデータセットを公開した。 | [1] |
| RoboCasa-DCと実世界ベンチマーク（Franka Pandaアームが人間のデモンストレーションで条件付けられる）での実験で、SeeTraceActはベースラインを上回り、RoboCasa-DCの全4設定で最高の成功率を達成した。 | [1] |
| SeeTraceActは実世界の平均成功率を12.5パーセントポイント向上させた。 | [1] |
なぜ重要か
この研究は、ロボットポリシーの学習におけるデータ効率の向上に寄与する可能性があり、実世界でのロボット導入の障壁を下げる一歩となる。特に、単一のデモ動画で未知のタスクを実行できることは、ロボットの柔軟な適応能力を示唆しており、今後のロボット学習の方向性に影響を与えるだろう。