潜在エネルギー行動計画とワールドモデル

本論文は、潜在世界モデル（latent world model）を用いたモデル予測制御（MPC）のための新しいプランニング手法であるLatent Energy Action Planning (LEAP)を提案する。LEAPは、行動系列全体を微分可能な変数として扱い、凍結されたLeWorldModel (LeWM)を通じて最適化する。終端の潜在状態と目標潜在状態の一致に加え、終端ウィンドウの状態エネルギーを導入し、デコーダが予測する終端記述子と目標記述子の一致も促す。これにより、単一の学習済み潜在目的関数を最適化する際に生じる、デコーダ予測の終端記述子が目標と一致しない問題を解決する。

先行研究のLeWMは、cross-entropy method (CEM)を用いてプランニングを行っていたが、単一の学習済み潜在目的関数の最適化が、デコーダ予測の終端記述子と目標記述子の不一致を引き起こす可能性があった。LEAPは、終端潜在状態の一致に加えて、終端ウィンドウの状態エネルギーを導入することで、この問題を解決し、プランニング成功率を大幅に向上させた。具体的には、LeWM+CEMの平均成功率77.5%を、同じプロトコル下で94.8%に引き上げ、17.3ポイントの改善を達成した。

LEAPの技術的な肝は、以下の3点である。(1) 行動系列全体を微分可能な変数として扱い、凍結されたLeWMを通じて最適化する点。(2) 終端潜在状態の目標一致に加え、終端ウィンドウの状態エネルギーを導入し、低エネルギー状態を実現する点。これにより、潜在空間での一致と、デコーダが予測する終端記述子の目標一致の両方を達成する。(3) 凍結された目標条件付き提案（goal-conditioned proposal）で探索を初期化し、quasi-Newton solverで自己回帰ロールアウトを通じて行動を洗練し、最適化後に許容行動範囲への射影を行う点。

4つの制御ドメインにおいて、公式にリリースされたLeWMチェックポイントを使用して検証した。完全なLEAPプランニングシステムは、LeWM+CEMの平均成功率77.5%を94.8%に向上させ、17.3パーセンテージポイントの改善を達成した。この際、凍結されたLeWMの表現と予測器は保持された。

要旨からは、LEAPの計算コストや実時間性、他の世界モデルへの適用可能性、エネルギー関数の設計選択の影響などについての議論は不明である。また、成功率の向上が特定のドメインに依存する可能性や、CEMとの比較における公平性の詳細も要旨からは不明である。

要旨で参照されている研究は、LeWorldModel (LeWM)とcross-entropy method (CEM)である。次に読むべき論文としては、LeWMの元論文や、潜在世界モデルを用いたモデル予測制御の関連研究（例：Latent Model Predictive Control, Dreamerなど）が挙げられる。