潜在進化型ワールドアクションモデル

- 本論文は、World Action Models (WAMs) の新しい枠組みである Latent evolving World Action Model (LeWAM) を提案する。 - 従来の WAMs は pretrained Video Diffusion Models (VDMs) に依存していたが、LeWAM は Joint-Embedding Predictive Architecture (JEPA) の埋め込みを活用し、video diffusion backbone を必要としない。 - 行動生成と環境の進展を同一の潜在空間でモデル化し、0.4B の学習可能パラメータで RoboTwin 2.0 において平均成功率 92.28% を達成。 - 実世界の manipulation タスクでも有効性を維持する。

- 従来の VDM-based WAMs は、大規模な video generation pretraining に性能と学習コストが結びついており、効率性とスケーラビリティに制限があった。 - 本研究は、JEPA エンコーダからの predictive embeddings が圧縮された VAE latents よりも行動生成をよく支援することを理論的・実証的に示した。 - その結果、video diffusion backbone に依存せず、より効率的な WAM を実現した点が先行研究と比べて優れている。 - また、imitation learning の限界を補うために Demonstration-Guided DPO (DemoDPO) を導入し、追加の環境相互作用や人間の監督なしにオフラインで選好を洗練させる点も新しい。

- 観測を JEPA エンコーダで埋め込みに変換し、その埋め込みを条件として行動生成を行う。 - 環境の進展は、同じ JEPA 埋め込み空間で将来の埋め込みを予測することでモデル化する。 - これにより video diffusion backbone を排除し、効率的な学習を可能にする。 - さらに、Demonstration-Guided DPO (DemoDPO) を導入し、デモンストレーションから直接選好監督を導出するオフライン選好洗練段階を設ける。 - これにより、imitation learning が実演行動に一致するものの、より良い行動と悪い行動を区別できない問題に対処する。

- RoboTwin 2.0 ベンチマークにおいて、平均成功率 92.28% を達成し、state-of-the-art の VLAs や WAMs に匹敵する性能を示した。 - 実世界の manipulation タスクでも実用的な有効性を維持することを確認した。 - また、エンコーダ比較において I-JEPA が最も良い性能を示すことを実証した。 - これらの結果から、JEPA 埋め込みに基づくアプローチの有効性が検証された。

- 本研究は、visual representations が WAMs の行動生成に与える影響を理論的・実証的に調査し、JEPA 埋め込みの優位性を示した。 - しかし、JEPA 埋め込みがなぜ VAE latents よりも優れるのか、その詳細なメカニズムについては要旨からは不明である。 - また、DemoDPO の有効性は示されているが、他の選好学習手法との比較や、より多様なタスクへの一般化可能性については議論されていない。 - 実世界タスクでの評価は限定的であり、さらなる検証が必要と考えられる。

- 要旨で参照されている研究: Video Diffusion Models (VDMs), Joint-Embedding Predictive Architecture (JEPA), I-JEPA, Demonstration-Guided DPO (DemoDPO), RoboTwin 2.0, VLAs, WAMs。 - 関連手法として、Video Diffusion Models をベースにした World Action Models や、JEPA を活用した表現学習、オフライン選好学習 (DPO) などが挙げられる。 - 次に読むべき論文としては、I-JEPA の原論文や、VDM-based WAMs の代表的研究、DemoDPO の基盤となる DPO の論文が考えられる。