反実仮想動画生成によるスケーラブルなヒューマノイドの移動操作

- 本論文は、ヒューマノイドのloco-manipulationスキルを視覚模倣で教えるためのフレームワークPRISMを提案する。 - 実世界の少数の動画を増幅し、多様な訓練データを生成するreal-to-sim-to-realアプローチ。 - 具体的には、video-to-video (V2V) 生成により数百のcounterfactualなhuman-object interaction動画を生成。 - その後、contact-anchored real-to-simパイプラインで人間と物体の動きを再構築し、物理的に妥当な軌道にリターゲット。 - このデータで単一のポリシーを訓練し、実ロボットに実世界ファインチューニングなしで展開。 - オンボード深度のみを用いて、箱、バレル、ビン、ボールなどの物体を新しいインスタンス、サイズ、初期配置で持ち上げ、運び、落とすことを実現。

- 従来の視覚模倣では、多様で高品質なインタラクション動画（全身が明確で物体とのインタラクションが隠れていないクリップ）の収集がスケーリングの障壁であった。 - PRISMは、少数の実動画からcounterfactual動画を生成することでこの制限を克服し、大規模で多様な訓練セットを構築。 - これにより、実世界でのファインチューニングなしで、カテゴリ内の未見物体に汎化する単一ポリシーを訓練可能にした点が先行研究と比べて優れている。 - 具体的な比較対象は要旨からは不明。

- 技術の肝は、real-to-sim-to-realフレームワークPRISMにある。 - まず、少数の実例動画からvideo-to-video (V2V) 生成を用いて数百のcounterfactualなhuman-object interaction動画を生成。 - 次に、contact-anchored real-to-simパイプラインで人間と物体の動きを再構築し、不完全なビデオデータを物理的に妥当な軌道にリターゲット。 - このcounterfactual動画間のintra-class variabilityを利用して、単一のポリシーを訓練。 - ポリシーはオンボード深度観測のみを使用。

- 実ロボットにポリシーを展開し、実世界でのファインチューニングなしで評価。 - オンボード深度のみを用いて、箱、バレル、ビン、ボールなどの物体を、新しいインスタンス、サイズ、初期配置で持ち上げ、運び、落とすタスクを実行。 - これにより、パイプライン全体の有効性を実証。

- 要旨からは、議論や限界についての明示的な記述は不明。 - ただし、実世界ファインチューニングなしで汎化性能を示した点が強調されている。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、visual imitation learning、video-to-video generation、real-to-sim-to-real transfer、humanoid loco-manipulationなどが挙げられる。 - 具体的な論文名は要旨からは不明。