Orthogonal JEPA: 潜在世界モデルの予測状態を直交分解する新フレームワーク

何が起きたか

2026年8月20日にarXivで公開された論文（http://arxiv.org/abs/2608.20065v1）が、潜在世界モデルの新フレームワーク「Orthogonal JEPA」を提案した。従来のJEPAは単一のターゲット埋め込みと単一の予測経路で全予測可能な内容を扱うが、複雑なシステムでは支配的な信号に冗長な容量を割き、弱い予測構造への勾配が不十分になる問題があった。Orthogonal JEPAは、学習された基底行列でターゲット状態を複数の成分に分析し、各成分を専用の予測ブランチで共有コンテキストから推定する。予測回帰で因子の大きさを保持し、直交性目的で方向の重複を防ぎ、因子活動正則化で射影ターゲットの変動を維持し、オンライン分散正則化でエンコーダの座標単位の崩壊を防ぐ。

詳細

Orthogonal JEPAは、予測状態を直交因子分解する潜在世界モデリングフレームワークである。学習された基底行列が各ターゲット状態を複数の成分に分析し、専用の予測ブランチが共有コンテキスト表現から各成分を推定する。予測回帰は状態合成に必要な因子の大きさを保持し、直交性目的は繰り返し方向を抑制し、因子活動正則化は射影ターゲットの変動を維持し、オンライン分散正則化は座標単位のエンコーダ崩壊を防ぐ。予測された成分は完全な潜在状態に合成され、読み出し、デコーダ、プランナー、自己回帰ロールアウトに利用できる。この予測状態メカニズムは、ターゲットが時間的に未来、空間的に隠れている、または同じシステムの部分観測である場合にも適用される。実験は、制御された視覚、単一細胞トランスクリプトミクス、縦断的健康記録、連続制御、分子動力学の5領域で実施され、表現品質、予測、計画、長期的安定性を評価した。

Key Facts

本紙の見方

本論文の核心は、JEPAの単一予測経路という設計を「直交因子分解」に置き換えた点にある。従来のJEPAは、観測の詳細を再構成せずに表現空間でターゲットを予測することで、世界モデルの潜在状態を学習する。しかし、複雑なシステムでは、単一のターゲット埋め込みと予測経路が、支配的な信号に容量を集中させ、弱い予測構造への勾配を弱めるという問題があった。Orthogonal JEPAは、基底行列でターゲット状態を複数の成分に分解し、各成分を専用の予測ブランチで推定することで、この問題に対処する。直交性目的と因子活動正則化により、成分間の冗長性を防ぎ、予測回帰とオンライン分散正則化により、状態合成に必要な情報を保持しつつエンコーダの崩壊を防ぐ。 このアプローチは、世界モデルの表現学習における「モノリシックな状態」の限界を克服する試みとして位置づけられる。特に、単一細胞トランスクリプトミクスや縦断的健康記録など、高次元で多様な信号が混在する領域では、単一の予測経路では捉えきれない構造が存在する。直交分解により、各成分が独立した予測可能な構造を捉えることができ、表現の質と予測精度の向上が期待される。 業界構造への含意としては、ロボティクスや自動運転などの連続制御タスクにおいて、計画や長期的安定性の向上に寄与する可能性がある。また、分子動力学のようなシミュレーション分野では、潜在状態の分解が物理的意味を持つ成分に対応する可能性があり、解釈性の向上につながるかもしれない。 未確定の論点としては、直交分解の成分数がどのように決定されるのか、また、各成分が実際にどのような意味を持つのかが明らかにされていない。さらに、実験結果の詳細な数値（精度、計画成功率など）が論文本文に記載されていないため、具体的な性能評価は不明である。今後の論文の詳細な結果が待たれる。

なぜ重要か

この研究は、世界モデルの潜在状態表現における「モノリシックな状態」の限界を指摘し、直交因子分解という新たな設計原理を提案する点で重要である。複雑なシステムの予測・計画・推論を必要とするAI応用（ロボティクス、医療、創薬など）において、表現の質と長期的安定性の向上に寄与する可能性がある。