DexForesight、手指の動きと周辺環境を学習する器用操作ポリシーを提案

何が起きたか

arXivに2026年11月8日掲載の論文「DexForesight: Grounding Dexterous Policies with Implicit Spatial Foresight」は、手指の動きと周辺環境の変化を暗黙的に見通す器用操作ポリシーを提案した。DexJoCoの11タスクでは成功率が基礎ポリシーの49.4%から60.5%に上がり、実ロボットの3タスクでは58.3%となった。実ロボットでの比較対象のうち、最も強いベースラインの成功率は50.0%だった。

詳細

学習時には、オフラインのシーン深度、手の運動学的形状、実演軌跡から、行動条件付きの空間世界モデルを学習する。同モデルは3Dの手の各点の動きと視覚特徴の変化を予測し、カメラから隠れた指の動きも扱う。学習後は世界モデルを固定し、その予測クエリとポリシーのクエリを整合させて、予測された空間ダイナミクスをポリシーの潜在表現に移す。 実行時に残すのはポリシーであり、入力はRGB観測、言語、ロボット状態となる。深度入力や明示的な未来予測は用いない。論文の評価では、DexJoCoの11タスクで基礎ポリシー比11.1ポイント高い成功率を示し、実ロボットの3タスクでは最も強いベースライン比8.3ポイント高かった。

Key Facts

本紙の見方

DexForesightの特徴は、実行時に未来の状態を明示的に出力する予測器を動かすのではなく、学習時に得た空間ダイナミクスをポリシーの潜在表現へ移し、推論時にはポリシーだけを残す設計にある。従来の世界・行動モデルが明示的な未来予測を通じて予測知識を得るのに対し、本手法は予測能力を学習の足場として使い、実行時の入力と処理をRGB観測、言語、ロボット状態に絞る。これは、深度を使う学習段階と深度なしの実行段階を分けた点で、研究上の新しさと運用時の要件を切り分けている。 評価値は、シミュレーション11タスクで49.4%から60.5%へ11.1ポイント、実ロボット3タスクで最強ベースラインの50.0%から58.3%へ8.3ポイントの差となった。ただし、実ロボット評価は3タスクに限られ、示された結果だけでは、物体や環境が変わった場合にも改善が維持されるか、異なるロボットの手に移せるかは判断できない。シミュレーションと実機の数値も、タスク数や比較条件が異なるため、単純に同一尺度で比べるべきではない。 構造面では、学習時の深度情報と実演軌跡が、隠れた指の運動を含む手の幾何・動力学の表現に変換され、それが行動生成の条件となる。とくに、カメラに映らない指の動きまでモデル化する設計は、視覚だけでは観測しにくい手指の状態を、予測表現を介してポリシーに反映させようとするものだ。一方、論文要約に記載された結果からは、学習データ量、各タスクの成功率、実機の種類、試行回数、失敗の内訳は確認できない。次に見るべきなのは、評価対象の拡大時にも改善が再現するか、深度や実演軌跡の条件が変化した際にどの程度性能が保たれるか、そして実運用で安全性をどう評価するかである。

なぜ重要か

学習時には深度情報を使いながら、実行時にはRGB観測、言語、ロボット状態だけで動く構成のため、深度入力を前提としない器用操作ポリシーの設計例となる。論文の評価では実ロボット3タスクで最も強いベースラインを上回ったが、適用範囲を判断するにはタスク数やロボット条件を広げた検証が必要だ。