LeWAM：拡散誘導MPCを用いたJEPA世界行動モデル

- LeWAMは、World Action Model (WAM) の一種で、双方向Transformerを用いて順方向・逆方向・逆動力学・ポリシー予測を統合したモデル。 - 再構成ベースではなく、decoder-freeのJEPA潜在表現をend-to-endで学習。 - ロボットと物体の状態を潜在から読み取り、視覚的妨害要因を無視する。 - 閉ループ評価では、同じエンコーダで訓練したflow-matchingポリシーと同等の性能を示し、ワールドモデルとしても機能。 - 計画時には、生の行動サンプリングではなくポリシーヘッドのノイズ空間で計画することで性能が向上。

- 従来の再構成ベースWAMはノイズや冗長情報を含む表現を用いるが、LeWAMはJEPA潜在を用いるため、よりクリーンな表現を実現。 - 順方向のみのJEPAワールドモデル（LeWM）と比較して、線形プローブによるロボット・物体状態の読み取り精度が向上。 - 視覚的妨害要因の無視性能はLeWMと同等で、再構成ベースWAMより大幅に優れる。 - 閉ループ性能はflow-matchingポリシーと同等でありながら、ワールドモデルとしての機能も提供。 - 計画において、生の行動ではなくポリシーヘッドのノイズ空間でサンプリングする新規手法を提案。

- 双方向Transformerを採用し、順方向・逆方向・逆動力学・ポリシー予測の4モードを同時に学習。 - decoder-freeのJEPA潜在表現をend-to-endで訓練。 - 計画にはModel Predictive Control (MPC) を用い、ポリシーヘッドのノイズ空間でサンプリングを行う。 - これにより、ダイナミクスモデルの不正確さを回避し、閉ループ性能を向上。

- 線形プローブを用いて、LeWAMの潜在からロボットと物体の状態を読み取り、LeWMや再構成ベースWAMと比較。 - 視覚的妨害要因の無視性能を評価。 - 閉ループ評価を実施し、同じエンコーダで訓練したflow-matchingポリシーと性能を比較。 - 計画タスクにおいて、生の行動サンプリングとノイズ空間サンプリングの性能を比較。

- 計画時に生の行動をサンプリングすると、MPCがダイナミクスモデルの不正確さを利用してしまう問題がある。 - ポリシーヘッドのノイズ空間で計画することで、この問題を軽減し、閉ループ性能を改善。 - ただし、具体的な限界や今後の課題については要旨からは不明。

- Le World Model (LeWM): 順方向のみのJEPAワールドモデル。 - 再構成ベースのWorld Action Model (WAM)。 - flow-matchingポリシー。 - Model Predictive Control (MPC) を用いた計画手法。