何が起きたか
2026年7月15日にarXivプレプリント(識別子: 2607.13612v1)として公開された理論研究は、JEPA(Joint-Embedding Predictive Architectures)の訓練目的がActive Inference(AIF)の変分自由エネルギーとして有効となる条件を数学的に証明した。研究は、4つの非対照的正則化器(VICReg、LogDet、PairDist、SIGReg)をエントロピー推定の階層に整理し、事前分布のミスキャリブレーションギャップの符号がAIFの驚きの下界の生存を決定するとした。
詳細
JEPAは潜在世界モデルの支配的な設計であるが、その正当性は通常、規範的原則ではなく経験的性能に基づいていた。本研究は、反崩壊正則化器の選択が、予測損失と重み付き埋め込み正則化器からなるJEPAの訓練目的がAIF変分自由エネルギーとして有効かどうかを決定することを示した。 正則化器はエントロピー推定の階層として整理され、ギャップの符号(潜在エントロピーを上から抑えるか下から抑えるか)がAIFの驚きの下界の生存を左右する。VICRegとLogDetは安全でない上界、PairDistは安全な下界、SIGRegはギャップを解消する。 対応定理では、標準的な定数ノイズエンコーダモデルとSIGRegの成功(等方性ガウス埋め込み)の下で、ギャップが消え、目的関数が厳密な情報ボトルネックとなり、驚きの下界が保たれ、潜在目標コストがAIFの実用的価値の正確な代理となる。一方、VICRegは既約な二次の異方性項を残す。 さらに、多段階の期待自由エネルギー、アンサンブル認識的価値、学習済みポリシー領域への拡張が行われ、現在のJEPA世界モデルが計算しない唯一のAIF項として、将来状態の被覆信号である状態認識的価値を特定した。予測は種類において異なり、程度ではないとされ、理論的帰結として別の研究での実証的テストに委ねられると明記された。完全な証明は付録Aにあり、すべての結果の代数的核はLean 4(付録D)で機械検証された。
Key Facts
| arXivプレプリント識別子は2607.13612v1で、2026年7月15日に公開された。 | [1] |
| 研究はJEPAの訓練目的がAIF変分自由エネルギーとして有効となる条件を理論的に示した。 | [1] |
| 4つの非対照的正則化器(VICReg、LogDet、PairDist、SIGReg)がエントロピー推定の階層として整理された。 | [1] |
| VICRegとLogDetは安全でない上界、PairDistは安全な下界、SIGRegはギャップを解消する。 | [1] |
| 対応定理は、定数ノイズエンコーダモデルとSIGRegの成功(等方性ガウス埋め込み)の下で、ギャップが消え、目的関数が厳密な情報ボトルネックとなることを示す。 | [1] |
| SIGReg適用時、潜在目標コストはAIFの実用的価値の正確な代理となる。 | [1] |
| VICRegは既約な二次の異方性項を残す。 | [1] |
| 現在のJEPA世界モデルが計算しない唯一のAIF項は、状態認識的価値(将来状態の被覆信号)である。 | [1] |
| 完全な証明は付録Aにあり、代数的核はLean 4で機械検証された(付録D)。 | [1] |
なぜ重要か
この研究は、JEPA世界モデルの訓練目的に規範的原理を与えるものであり、正則化器の選択が理論的保証に直結することを示す。SIGRegが情報ボトルネックと等価になることは、実用的価値の正確な代理を提供し、将来の世界モデル設計に影響を与える可能性がある。