世界モデル2026/8/29arXiv:2608.29029v1

Flow-JEPA: フローマッチングによるJEPA世界モデルの堅牢な潜在ダイナミクス

Flow-JEPA: Flow Matching for Robust Latent Dynamics in JEPA World Models

JEPA世界モデルの決定論的予測を条件付きフローマッチングに置き換え、ノイズ下での堅牢性と成功率を向上させた。

詳しい要約

1. どんなもの？

Flow-JEPA (F-JEPA) は、JEPA (Joint-Embedding Predictive Architecture) の世界モデルにおける将来の潜在状態の予測を、決定論的な自己回帰遷移から条件付きフローマッチングによる確率的軌道予測へと置き換える手法を提案している。具体的には、現在の観測と行動を条件として、一連の将来の潜在状態を同時に生成する。フローソースとしてガウス分布を用いることで、ベクトル場が摂動された潜在軌道を学習し、クリーンな将来表現へ輸送する。再構成不要のJEPAフレームワークを維持しつつ、点単位の遷移回帰を確率的軌道予測に置き換える点が特徴である。

2. 先行研究と比べてどこがすごい？

先行研究であるLeWorldModel (LeWM) は、決定論的な自己回帰予測器を用いて将来の潜在状態を1ステップずつ遷移させるため、誤差が蓄積しやすく、タスクに無関係な視覚的摂動に敏感である。F-JEPAは、条件付きフローマッチングを導入することで、軌道レベルの確率的予測を実現し、誤差蓄積を軽減し、ノイズに対する頑健性を向上させている。また、再構成不要のJEPAフレームワークを維持している点で、従来の生成モデルとは異なる。

3. 技術・手法の肝は？

手法の核は、条件付きフローマッチングを用いたダイナミクスモデルである。現在の観測と行動を条件として、将来の潜在状態のシーケンスを生成する。フローソースとしてガウス分布を採用し、ベクトル場が摂動された潜在軌道をクリーンな将来表現へ輸送するように学習する。これにより、点単位の遷移回帰ではなく、軌道レベルの確率的予測を行う。再構成不要のJEPAフレームワークを維持しつつ、決定論的自己回帰を置き換える。

4. どうやって有効だと検証した？

有効性の検証は、クリーンな観測条件下とノイズ条件下での平均成功率で評価している。クリーンな観測では平均成功率が86%から92%に向上し、ノイズ条件下では67%から86%に向上した。これにより、条件付きフローマッチングがJEPA世界モデルにおける決定論的自己回帰ダイナミクスの有望な代替手段であることを示している。

5. 議論はある？

要旨からは、議論の詳細は不明である。ただし、提案手法がノイズ条件下での成功率を大幅に向上させたことから、タスク無関係な視覚的摂動に対する頑健性が向上したことが示唆される。一方で、フローマッチングの計算コストや、軌道予測の長期的な安定性などについては言及がない。

6. 次に読むべき論文は？

要旨で参照されている先行研究はLeWorldModel (LeWM) であり、JEPA (Joint-Embedding Predictive Architectures) の関連研究として、I-JEPAやV-JEPAなどのJEPAベースのモデルが考えられる。また、フローマッチングの基礎となる研究として、Flow MatchingやConditional Flow Matchingが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanchen Huo, Ziying Song, Yadan Luo

分類: cs.LG, cs.AI

原文アブストラクト

Joint-Embedding Predictive Architectures (JEPAs) have shown strong potential for learning compact predictive representations, and LeWorldModel (LeWM) extends this paradigm to reconstruction-free latent world modeling from pixels. However, its deterministic autoregressive predictor generates future states through repeated one-step transitions, which can accumulate errors and remain sensitive to task-irrelevant visual perturbations. In this work, we propose Flow-JEPA (F-JEPA), a conditional flow matching dynamics model that jointly generates a sequence of future latent states conditioned on the current observation and actions. A Gaussian distribution serves as the flow source, exposing the vector field to perturbed latent trajectories as it learns to transport them toward clean future representations. This formulation retains the reconstruction-free JEPA framework while replacing point-wise transition regression with stochastic trajectory-level prediction. F-JEPA raises mean success from $86\%$ to $92\%$ under clean observations and from $67\%$ to $86\%$ under noisy conditions, suggesting that conditional flow matching provides a promising alternative to deterministic autoregressive dynamics in JEPA world models.

arXivで原文を読む →arXiv概要ページ