世界モデル2026/9/9arXiv:2609.10464

半群JEPA：ゼロショット物理汎化のための潜在ダイナミクス整合性

Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization

物理パラメータを行動条件として与え、自己回帰的な潜在ロールアウトでエンコーダと予測器を共同学習するSG-JEPAを提案し、異なる重力場でのゼロショット物理汎化性能を向上させた。

詳しい要約

1. どんなもの？

- 本論文は、JEPA（Joint-Embedding Predictive Architecture）に基づく世界モデル「SemiGroup-JEPA（SG-JEPA）」を提案する。 - 物理法則に従うが質的に異なる動力学（弱い重力での浮遊から強い重力での高速バウンドまで）をゼロショットで汎化する能力を評価する。 - LeWorldModelフレームワークを拡張し、物理を支配するパラメータをaction-conditioningで時間モデルに供給し、自己回帰的な潜在ロールアウトでエンコーダと予測器を同時訓練する。 - 2次元データセットと3次元ロボティクスデータセットで実験し、DINO-WMと比較して性能向上を報告。

2. 先行研究と比べてどこがすごい？

- 従来のJEPA世界モデルは物理学習や物理的に現実的な動力学生成能力が未検証だった。 - DINO-WMと比較して、2次元データセットで開ループ予測誤差を最大2倍低減し、3次元ロボティクスデータセットで制御成功率を最大2.5倍向上させた。 - 独立に訓練したdiffusion policiesを用いた3次元ロボティクスデータセットでの制御性能向上も示す。

3. 技術・手法の肝は？

- LeWorldModelを拡張し、物理パラメータをaction-conditioningで時間モデルに与える。 - エンコーダと予測器を自己回帰的潜在ロールアウトで同時訓練する。 - 線形特徴モデルを開発し、局所的な法則条件付き誤差とロールアウト下での再帰的増幅を分離する。 - 多段ロールアウト損失を表現に逆伝播することで、予測器が引き継げる特徴をエンコーダが保持するように訓練され、その特徴が動力学に依存することを見出した。

4. どうやって有効だと検証した？

- 異なる重力場下での動力学タスクを設計し、分布外汎化能力を評価。 - 2次元データセットで開ループ予測誤差を測定し、DINO-WMと比較。 - 3次元ロボティクスデータセットで制御成功率を評価し、独立に訓練したdiffusion policiesを使用。 - 線形特徴モデルにより、性能向上の要因を分析。

5. 議論はある？

- 性能向上の大部分は、予測器がより良い動力学を学習するよりも、エンコーダがより良い特徴を学習することに起因する。 - 多段ロールアウト損失の逆伝播が、予測器が引き継げる特徴をエンコーダに保持させることを示唆。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は？

- DINO-WM（比較対象として言及） - LeWorldModel（拡張元フレームワーク） - Joint-Embedding Predictive Architecture (JEPA) 関連の世界モデル研究 - diffusion policies（3次元ロボティクスデータセットで使用）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andy Zeyi Liu, Haoran Sun, Lucas Baker, Randall Balestriero, John Sous

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Joint-Embedding Predictive Architecture (JEPA) world models learn a compact latent representation of the world that supports prediction and planning, but their capability to learn physics and generate physically realistic dynamics remains hitherto untested. In this work, we introduce SemiGroup-JEPA (SG-JEPA), which extends the LeWorldModel framework by supplying the parameter governing the physics to the temporal model via action-conditioning and jointly training an encoder and predictor through an autoregressive latent rollout. To evaluate the model's ability to generalize out of distribution, we design dynamical tasks under different gravitational fields that, despite obeying the same physical law, exhibit qualitatively different dynamics, ranging from floating motion in weak gravitational fields to rapid bouncing in strong ones. In contrast to DINO-WM, SG-JEPA reduces open-loop prediction error by up to 2 times on two-dimensional datasets, and increases control success rate up to 2.5 times for three-dimensional robotic datasets, for which we train independent diffusion policies. To explain this advantage, we develop a linear feature model that separates local law-conditioned error from its recursive amplification under rollout. Guided by this model, we find that back-propagating the multi-step rollout loss into the representation trains the encoder to keep the features that the predictor can carry forward, and that those are the features the dynamics depend on, so most of the gain comes from the encoder learning better features rather than from the predictor learning better dynamics. See project page at https://sg-jepa.github.io.

arXivで原文を読む →arXiv概要ページ