JEPAワールドモデルの診断：行動条件付き予測整合性に基づく評価

本論文は、Joint-embedding predictive architectures (JEPAs) で学習された世界モデルが、視覚的摂動に対してどの程度ロバストかを診断する手法を提案している。具体的には、Action-Conditioned Predictive Consistency (ACPC) という指標を導入し、クリーンな履歴と視覚的に摂動されたビューを同じアクション系列でロールアウトしたときの潜在表現の乖離を測定する。さらに、Invariance Radius (IR) と Separation Rate (SR) という2つの補完的な指標を定義し、世界モデルのロバスト性と識別性を評価する。

従来のJEPAは潜在空間での予測によりピクセルレベルの予測を避けるが、視覚的摂動が表現に影響を与える可能性を保証しない。本研究は、bisimulationの概念に基づき、アクション条件付きの結果が一致する場合にのみ同じ状態とみなすという基準を導入し、摂動に対するロバスト性を理論的に保証する点が新しい。また、既存の診断手法が個々の摂動に対する応答を見るのに対し、ACPCはロールアウト後の乖離を測定することで、マルチステップ予測誤差やプランナーコストへの影響を直接評価する。

手法の核は、ペアワイズACPCを定義し、クリーンな履歴と摂動されたビューを同じアクション系列でロールフォワードしたときの潜在表現の乖離を測ること。理論的には、この乖離が摂動によるマルチステップ予測誤差とプランナーコストの変化を上界することを証明。さらに、ペアワイズACPCから、Invariance Radius (IR) と Separation Rate (SR) を導出し、IRはクリーン-摂動ロールアウトの広がりを要約し、SRは異なる状態がロールアウト後も区別可能かをチェックする。

4つの視覚的制御タスクで実験を行い、ペアワイズACPCが摂動による予測誤差とコスト変化を予測することを示した。LeWMでは、IR-SRスクリーンがタスク間で転移し、blurやresizeの摂動下でもジョイント診断が有効であることを確認。PLDMでは異なるアーキテクチャでも同様の診断傾向が見られた。

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、IR-SRスクリーンがタスク間で転移するという結果は、診断指標の汎用性を示唆するが、異なるタスクや摂動タイプに対する頑健性にはさらなる検討が必要かもしれない。また、理論的な上界が実際の性能とどの程度密接に関連するかは、実験での検証に依存する。

要旨で参照されている研究は、JEPA (Joint-embedding predictive architectures) とbisimulationに関するもの。次に読むべき論文としては、JEPAの原論文（例: LeCunらのJEPAに関する論文）や、bisimulationを強化学習に適用した研究（例: bisimulation metrics）が挙げられる。また、PLDM (Probabilistic Latent Dynamics Model) の詳細や、視覚的摂動に対するロバスト性を扱った他の研究も関連する。