一歩先の潜在予測は世界モデルではない

- 本論文は、next-latent prediction（次潜在予測）という目的関数が world model（世界モデル）として成立するかを理論的に検証した研究。 - LeNEPA はこの目的を時系列に拡張し、next-embedding prediction の stop-gradient を LeJEPA の isotropy penalty に置き換えた手法。 - 主張は「one-step next-latent prediction は world model ではない」という点。 - world model を rollout 可能な transition kernel と定義し、one-step 回帰が条件付き平均を同定するに過ぎないことを示す。

- 先行研究（next-embedding prediction 系、LeJEPA 系）は one-step 予測を表現学習の目的として用いてきた。 - 本論文は、その one-step 回帰が条件付き平均を同定するだけで、条件付き平均は特殊な場合にしか kernel にならないと指摘。 - linear-Gaussian Markov latent では mean transition と innovation covariance が one-step 問題で固定され、open-loop squared error が K とともに増大することを示す。 - 非線形条件付き平均の合成は multi-step 条件付き平均にならない点も先行研究と異なる理論的警告。

- one-step next-latent prediction を条件付き平均の回帰として定式化。 - linear-Gaussian Markov latent を仮定し、mean transition と innovation covariance が one-step 問題で固定されることを導出。 - horizon K の open-loop squared error が pushed-forward innovation covariances の和の trace に等しいことを示す。 - 非線形条件付き平均の合成が multi-step 条件付き平均と一致しないことを議論。 - 観測が Markov state の非単射関数の場合、memoryless one-step map では将来観測を決定できないが、short window なら可能と指摘。 - isotropy penalty は embedding marginal の関数であり、transition weights に関する偏微分がゼロになることを示す。

- scalar autoregression（係数 0.9）で one-step MSE が 0.998、16-step open-loop error が 5.10 となることを確認。 - hidden rotation タスクで、8-step window が 16-step error 0.056 に達する一方、current scalar のみでは 0.778 となることを示す。 - isotropy weight を 0.1 から 10 に上げても、3 seed で 8-step latent error が [0.78, 0.85] 内に留まることを確認。

- one-step next-latent prediction は world model として rollout に使えないという理論的限界を提示。 - isotropy penalty は transition weights に影響を与えないため、LeNEPA の設計が one-step 予測の本質的問題を解決しない可能性を示唆。 - 非線形・非単射観測の場合の multi-step 予測の困難さを議論。 - ただし、具体的な代替手法や実タスクでの検証は要旨からは不明。

- LeJEPA（isotropy penalty の導入元） - next-embedding prediction 系の先行研究（stop-gradient を用いる手法） - linear-Gaussian Markov latent モデルに関する理論研究 - world model の rollout 可能性を扱う研究（例：Dreamer 系、PlaNet など） - 時系列表現学習における multi-step 予測の研究