RGB動画からの再構成強化型両手巧緻操作の視覚運動事前学習

- RGB-only の人間動画から 3D-grounded な bimanual dexterity を学習する SpatialDex というフレームワーク - 中心アイデアは人間の行動とその空間的文脈を同時に学習すること - 各動画から scene geometry を再構成し hand motion を推定し、3D hand estimates の hand-size prior で video-level scale に整列 - 再構成した geometry を policy input と prediction target の両方として保持 - 1M human-video clips で pre-train し、少数の robot demonstrations で fine-tune

- 先行研究と比べてどこがすごいかは要旨からは不明（具体的な比較対象の詳細は明示されていない） - ただし state-of-the-art 手法に対し、2 embodiments にわたる 9 つの simulated dexterous tasks で 16.5 points 上回る - 6 つの real-world bimanual dexterous tasks で 38.3 points 上回る - matched comparison 下で、hand motion のみの pre-training より reconstructed geometry を用いた pre-training が success を 14.2 points 改善

- RGB-only 動画から scene geometry を再構成し hand motion を推定 - 3D hand estimates の hand-size prior を用いて両者を video-level scale で整列 - pre-trained vision-language model の token grid を gated residual fusion で geometry に接地 - 将来の scene geometry と wrist・finger actions を同時に予測するよう学習 - 両 wrist の予測 trajectory を条件として finger motion を生成

- 1M human-video clips で pre-train し、少数の robot demonstrations で fine-tune - 2 embodiments にわたる 9 つの simulated dexterous tasks で評価 - 6 つの real-world bimanual dexterous tasks で評価 - matched comparison で reconstructed geometry による pre-training の効果を検証

- 議論の詳細は要旨からは不明 - 要旨では reconstructed geometry を pre-training に用いることの有効性が示唆されている（hand motion のみより 14.2 points 改善） - 限界や今後の課題についての記述は要旨からは不明

- 要旨で参照・比較されている具体的な研究名は不明 - 関連手法として vision-language model の pre-training、3D hand estimation、scene reconstruction、visuomotor pre-training の定番研究を挙げる - 具体的な論文名は要旨からは不明