LRC-JEPA：ダイナミクスと残差コンテキストを分離した効率的な世界モデル

LRC-JEPAは、JEPA系のworld modelにおける表現の絡み合い問題を解決する軽量なend-to-end world model。 - 情報を2つに分離: 予測latent z と learned-query residual-context embedding u。 - zのみをdynamics modelで伝播しplanningに使用。 - uは時間的に持続する情報を捉え、cross-attention reconstructionに使う。 - differentiable residual connectionでzに相補的な動的contentを保持させる。 - 4つのsimulated control環境と実世界Bridge-v2で評価。

パラメータ数を揃えたJEPA baselineに対し平均planning成功率を9ポイント改善。 - 大幅に大きいpretrained modelと同等以上。 - 実世界Bridge-v2で5.5Mパラメータのactive encoderがDINO-WM(22.1M)やV-JEPA2(303.9M)のencoderを上回る。 - より高速なplanningも可能。 - 低次元表現で制御可能状態とnuisance appearanceの絡み合いを避ける点が先行研究と異なる。

情報をcompact predictive latent zとlearned-query residual-context embedding uにルーティング。 - zのみをdynamics modelで伝播しplanningに使用。 - uは時間的に持続する情報を捉え、cross-attention reconstructionに用いる。 - differentiable residual connectionによりzが相補的な動的contentを保持するよう促す。 - 明示的な仮定の下で、表現がsufficient, minimal, nuisance-invariant, disentangledであることを示す。

4つのsimulated control環境でplanning成功率を評価。 - パラメータ一致のJEPA baselineと比較し平均9ポイント改善。 - 実世界Bridge-v2 setで5.5Mパラメータのactive encoderがDINO-WM(22.1M)とV-JEPA2(303.9M)を上回る。 - physical-state probes, reconstruction interventions, ablationsで表現のdisentanglementの有効性を確認。

要旨からは不明。 - 明示的な仮定の下での理論的性質(sufficient, minimal, nuisance-invariant, disentangled)が示されているが、仮定の妥当性や限界についての議論は要旨からは不明。 - 実世界Bridge-v2での結果は示されているが、他の実世界タスクへの一般化や計算コストの詳細は要旨からは不明。

要旨で参照/比較されている研究: JEPA baseline, DINO-WM, V-JEPA2。 - 関連手法としてJEPA系world model, DINO-WM, V-JEPA2を挙げる。 - 同分野の定番としてmodel-based reinforcement learningやlatent-space planningの研究も参考になる。