MOSH-WM: マスク接地ソフトハミルトン力学によるオブジェクト中心世界モデル

本論文は、オブジェクト中心の世界モデル（object-centric world model）において、将来のビデオを予測する新しい手法MOSH-WM（Mask-Grounded Soft-Hamiltonian Dynamics for Object-Centric World Models）を提案している。従来のオブジェクト中心モデルでは、ダイナミクスを学習する変数が拘束されていない視覚特徴であるのに対し、MOSH-WMは、マスクに基づくソフトなハミルトン力学を用いて、位置に相当する状態をスロットが所有する画像領域（マスク）に明示的に依存させる。具体的には、凍結したビデオスロットエンコーダがスロットとマスクを生成し、マスクが所有する領域の空間モーメントから正準状態Qを、時間差分からPを構成し、学習されたエネルギーが有界な学習増分にソフトな方向バイアスを与える。外観や同一性は因果的な視覚コンテキストに別途保存され、ゲート付きコンポーザと有界残差が、伝播された位相状態とコンテキストを組み合わせてデコーダ互換のスロットを再構成する。

先行研究のオブジェクト中心世界モデルでは、ダイナミクスを学習する変数が拘束されていない視覚特徴であり、予測が不安定または不正確になりがちである。MOSH-WMは、位置に相当する状態をマスクが所有する画像領域に明示的に依存させることで、ダイナミクスの学習をより構造化し、物理的な解釈性を高めている。さらに、ハミルトン力学に基づくソフトな更新則を導入し、エネルギー関数による方向バイアスと有界な増分を用いることで、長期的な予測の安定性を向上させている。これにより、OBJ3DとCLEVRERのベンチマークで、既存の最強のオブジェクト中心ベースラインと比較して、LPIPSと空間MSEを大幅に削減している。

手法の核は、マスクに基づくソフトなハミルトン力学の導入にある。まず、凍結したビデオスロットエンコーダ（frozen video-slot encoder）がスロットとマスクを生成する。次に、各スロットのマスクが所有する画像領域の空間モーメント（spatial moments）から正準状態Qを計算し、時間差分からPを計算する。これにより、位置に相当する状態が明示的に画像領域に依存する。学習されたエネルギー関数が、有界な学習増分（bounded learned increment）にソフトな方向バイアスを与え、ハミルトン力学に基づく更新則を構成する。外観と同一性は因果的な視覚コンテキスト（causal visual context）に別途保存され、ゲート付きコンポーザ（gated composer）と有界残差（bounded residual）が、伝播された位相状態とコンテキストを組み合わせて、デコーダ互換のスロットを再構成する。

有効性は、OBJ3DとCLEVRERの2つのベンチマークで検証された。OBJ3Dでは、6フレームを観測し、その後の30フレームを予測する設定で、LPIPSを25.0%、空間MSEを33.7%削減（最強のオブジェクト中心ベースライン比）。CLEVRERでは、6フレーム観測、10フレーム予測で、LPIPSを14.5%、空間MSEを18.7%削減。さらに、時間地平線にわたる視覚およびオブジェクト状態の測定により、完全なモデルが30フレームの閉ループロールアウト全体で誤差の蓄積が遅いことを示した。

要旨からは、議論の詳細は不明である。ただし、提案手法はオブジェクト中心の世界モデルにおいて、ダイナミクスを構造化することで予測精度を向上させたが、マスクの品質やエネルギー関数の学習に依存する可能性がある。また、凍結したエンコーダを使用しているため、エンコーダの性能が全体の性能に影響を与える可能性がある。さらに、ハミルトン力学の仮定がすべてのオブジェクトのダイナミクスに適合するとは限らないかもしれない。これらの点は要旨からは明示されていないが、今後の研究で検討されるべき課題と考えられる。

要旨で参照されている先行研究や関連手法は明示されていないが、オブジェクト中心の世界モデルに関する代表的な研究として、Slot Attention（スロットアテンション）や、それを用いたビデオ予測モデル（例えば、Object-Centric Video Prediction）が挙げられる。また、ハミルトン力学をニューラルネットワークに組み込んだHamiltonian Neural Networks（HNN）も関連する。次に読むべき論文としては、これらの基礎となる論文を推奨する。