両手の操作計画を明示学習するEMPIRE、Egocentric手動作予測でSOTA達成

何が起きたか

研究チームは2026年8月23日、arxiv.orgで、Egocentric観測からの巧みな手動作予測のための2段階フレームワークEMPIREを発表した。EMPIREは、操作計画を明示的な中間表現として学習するStage Iと、その計画に基づいて両手動作を生成するStage IIから構成される。提案手法は、同一の学習・評価プロトコル下で、MPJPE 84.53mm、指相対誤差38.97mmを達成し、既存のVLMベース手法を上回る最先端の予測精度を実現した。

詳細

EMPIREは、Egocentric手動作予測のための2段階フレームワークである。Stage Iでは、マルチモーダルコンテキストから明示的な操作計画を学習し、手と物体のインタラクションの進行を捉える。Stage IIでは、凍結されたプランナー表現に基づいて将来の両手動作を生成し、動作生成の勾配が操作計画に干渉するのを防ぐ。データセットEMPIRE-651Kは、111タスクにわたる65万910個のトレーニングウィンドウで構成され、各ウィンドウには手ごとの明示的な操作計画が付与されている。コードとデータセットはhttps://github.com/wangwen-banban/EMPIREで公開されている。

Key Facts

本紙の見方

EMPIREの提案は、Egocentric手動作予測におけるアプローチを根本から変える可能性がある。従来のVLMベース手法は、観測から直接将来の動作をマッピングしており、手と物体のインタラクションを支配する操作プロセスを考慮していなかった。EMPIREは、操作計画を明示的な中間表現として導入することで、この欠点を克服している。さらに、2段階のフレームワークにより、動作生成の勾配が操作計画の学習に干渉する問題を解決し、プランナー表現を凍結することで、操作計画の品質を保ちながら動作生成を行う。 本手法の新規性は、操作計画を明示的に学習する点にある。これにより、モデルは単なる動作の模倣ではなく、タスクの構造を理解した上で動作を生成することができる。また、データセットEMPIRE-651Kは、111タスクにわたる65万910個のウィンドウを提供し、両手動作予測の研究を加速させるだろう。 業界への含意として、このような明示的な操作計画の学習は、ロボットの模倣学習や人間とロボットのインタラクションに応用できる可能性がある。特に、Egocentricビジョンはウェアラブルデバイスやロボットの視覚システムとして重要であり、操作計画を明示的に扱うことで、より堅牢で解釈可能な動作生成が可能になる。 未確定の論点としては、EMPIREの性能が実際のロボットシステムに統合された際にどの程度の効果を発揮するか、また、データセットの多様性が実世界のタスクをどの程度カバーしているかが挙げられる。さらに、提案手法が他のモダリティ（例：深度画像や触覚センサー）と組み合わせた場合の拡張性も検証が必要である。

なぜ重要か

EMPIREは、手動作予測の精度を向上させるだけでなく、操作計画を明示的に学習することで、モデルの解釈可能性と汎化性を高める。これは、ロボットの器用な操作や人間の行動理解に直結する重要な進展であり、今後の研究の基盤となるだろう。