何が起きたか
arXivに2026年8月2日付で掲載された論文（arXiv:2608.01049v1）において、研究チームは混雑した南半球の都市環境を対象とした世界モデル「FactorJEPA」を提案した。同モデルは、将来を単一の潜在表現で符号化するのではなく、レイアウト・エージェント・相互作用のチャネルに分解し、可視性ゲートと分離された部分空間を用いて部分的に観測されたエージェントを保持し、因子間の近道を防ぐ。また、1,000時間・22都市のドライブスルー、ウォークスルー、航空ビデオからなる大規模データセット「DENSEWORLD-115k」を公開した。
詳細
既存のJEPA（Joint Embedding Predictive Architectures）は、低密度で車線構造が明確な環境で評価されることが多く、混雑した南半球の都市環境（DENSEWORLD）では、空間的境界が曖昧で、エージェントの多様性が極端に高く、持続的な遮蔽が発生し、混合交通下での迅速な社会的交渉が求められる。既存のJEPAは、このような不均一性と部分的可観測性の下で密集した相互作用のダイナミクスを保持することが困難であると論文は指摘する。 FactorJEPAは、世界構造を第一級の予測プリミティブとして扱い、将来の潜在表現の精度（Future-frame L1）、介入感度予測（Causal L1）、視覚情報の減少に対するロバスト性（Mask-ratio slope）を改善し、再現可能な運動情報のトレードオフ（Motion cosine）を明示する。手法のランキングは2Bおよび1BのV-JEPA 2.1バックボーンで再現され、スピアマンの順位相関係数は0.895から0.978であった。 データセットとチェックポイントはHugging Faceで公開されている。データセットはhttps://huggingface.co/datasets/anonymousML123/denseworld-115k、チェックポイントはhttps://huggingface.co/datasets/anonymousML123/factorjepa-outputs/tree/main/outputs/full/vjepa_2_1_vitg_1B/train/m09c_surgery_3stage_DI_diheavy_encoderで入手可能。
Key Facts
| FactorJEPAは、混雑した南半球の都市環境（DENSEWORLD）向けに提案された世界モデルである。 | [1] |
| DENSEWORLD-115kデータセットは、1,000時間・22都市のドライブスルー、ウォークスルー、航空ビデオから構成される。 | [1] |
| FactorJEPAは、将来をレイアウト・エージェント・相互作用のチャネルに分解し、可視性ゲートと分離された部分空間を用いる。 | [1] |
| FactorJEPAは、Future-frame L1、Causal L1、Mask-ratio slopeを改善し、Motion cosineを明示する。 | [1] |
| 手法のランキングは2Bおよび1BのV-JEPA 2.1バックボーンで再現され、スピアマンの順位相関係数は0.895から0.978である。 | [1] |
| DENSEWORLD-115kデータセットはHugging Faceで公開されている。 | [1] |
| FactorJEPAのチェックポイントもHugging Faceで公開されている。 | [1] |
なぜ重要か
本研究は、従来の世界モデル評価が低密度・車線構造の環境に偏っていたのに対し、混雑した南半球の都市環境という未開拓領域に焦点を当てた点で意義がある。FactorJEPAは、部分的可観測性やエージェントの不均一性に対処する新しいアプローチを提供し、大規模データセットの公開により今後の研究を促進する可能性がある。