WatchAct: 人間の行動観察に基づくロボット操作ベンチマーク、成功率16.3%に留まる

何が起きたか

2026年6月24日、arxiv.orgに公開された論文で、人間の行動観察に基づくロボット操作ベンチマーク「WatchAct」が発表された。WatchActは3,000の長期的タスクを14のタスクで構成し、4つの能力領域（イベント接地、手続き推論、暗黙の意図推論、エピソード推論）を評価する。シミュレーションと実機Franka Research 3での評価で、最良のパイプライン（Gemini-3.1-Proとπ0.5の統合）はシミュレーションで16.3%、実機で14.0%の成功率に留まった。

詳細

WatchActは、各インスタンスが実世界の人間行動ビデオと言語指示を、整合したシミュレータシーンと実行可能なLIBEROタスクとペアにする。3,000の長期的インスタンスは14タスクにわたり、4つの能力領域（イベント接地、手続き推論、暗黙の意図推論、エピソード推論）から構成される。評価プロトコルは、(i)視覚言語モデルによるビデオから計画への推論、(ii)オラクル計画下でのポリシー実行、(iii)統合プランナー・ポリシーパイプラインによる完全なタスク完了、の3つに分離されている。最良のパイプラインであるGemini-3.1-Proとπ0.5の統合は、シミュレーションで16.3%の成功率、実機で14.0%の成功率を達成した。Gemini-3.1-Pro単体の計画成功率は36.8%（人間は97.1%）、π0.5はオラクル計画下で21.5%のタスク成功率、ドメイン外シナリオでは10.6%に低下する。データセットとコードはhttps://baiqi-li.github.io/watchact_page/で公開されている。

Key Facts

本紙の見方

WatchActの発表は、ロボット操作ベンチマークの新たな方向性を示す。従来のベンチマークが単一の現在画像と指示をペアにするのに対し、WatchActは人間の行動ビデオを入力として、行動の順序や意図を推論する能力を評価する。これは、ロボットが人間と協調して作業する際に必要な認知能力を反映しており、評価の対象を拡張している。 本ベンチマークの特徴は、評価プロトコルを3段階に分離している点だ。ビデオから計画への推論、オラクル計画下でのポリシー実行、統合パイプラインの完全なタスク完了を別々に測定することで、システムのどの部分がボトルネックかを特定できる。結果を見ると、Gemini-3.1-Proの計画成功率が36.8%であるのに対し、π0.5のオラクル計画下でのタスク成功率は21.5%であり、計画と実行の両方に課題があることが分かる。特に、ドメイン外シナリオでの成功率が10.6%に低下することは、汎化性能の不足を示している。 このベンチマークは、ロボット操作における「行動理解」の重要性を強調している。人間の行動を観察し、その意図を推論することは、協調作業や模倣学習において不可欠である。しかし、現在の最先端モデルでも成功率が低いことから、この分野はまだ初期段階にあると言える。 今後の課題として、モデルの計画能力と実行能力の両方を向上させる必要がある。特に、ドメイン外シナリオでの性能低下は、実世界での応用を考える上で重要な問題である。また、WatchActのタスクはLIBEROに基づいているが、より多様な環境やタスクへの拡張が求められるだろう。

なぜ重要か

WatchActは、ロボット操作の評価を「行動観察」に基づくものへと拡張し、人間の意図理解の重要性を浮き彫りにした。現在のモデルが人間の能力に遠く及ばないことを示すことで、今後の研究開発の方向性に影響を与える可能性がある。