潜在計画は点群でも生き残るか？幾何学的観測のための行動条件付きJEPAワールドモデル

本研究は、JEPA (Joint Embedding Predictive Architecture) ベースの世界モデルを点群観測に適用し、潜在空間でのプランニングが幾何学的観測でも機能するかを検証したものである。具体的には、3つの標準的なJEPA設計（frozen-encoder, distribution-prior, action-sensitive）を点群に拡張し、stable-worldmodelベンチマークを用いて画像ベースのベースラインと比較した。その結果、すべての設計が崩壊せずにプランニング可能であり、特にaction-sensitiveモデルは最も動きが多いシーンで最良の性能を示した。さらに、点群特有の利点として、目標となる3D座標から直接ゴール潜在表現を構成できることを示した。

先行研究のJEPA世界モデルはほぼ画像に特化しており、点群のような幾何学的観測での有効性は不明だった。点群はスパースで非順序、自己遮蔽があり、シーン内の移動点が0.3-15%と少ないため、潜在予測のslow-feature最適化と3D自己教師あり学習の幾何学的ショートカットが複合する課題がある。本研究は、3つのJEPA設計を点群に持ち上げ、画像ベースラインと観測のみが異なるようにベンチマークを再構成して厳密に比較した点が新しい。また、点群から直接ゴール潜在表現を構成する手法を提案し、目標観測なしで同等の成功率を達成した点も先行研究にはない貢献である。

手法の核は、3つのJEPA設計を点群に適応させることである。frozen-encoderはエンコーダを固定し、distribution-priorは潜在空間の分布を事前に学習し、action-sensitiveは行動に敏感な潜在表現を学習する。これらを点群入力に適用する際、点群の特性（スパース性、非順序性）を考慮したエンコーダを用いる。また、プランニングは潜在空間で行われ、ゴール潜在表現は目標の3D座標と現在の潜在表現から構成される。これにより、目標観測を必要とせずにプランニングが可能となる。

stable-worldmodelベンチマークを用いて、画像ベースのベースラインと観測のみが異なるようにして評価した。具体的には、3つのJEPA設計それぞれについて、点群入力と画像入力での性能を比較した。その結果、distribution-priorモデルはすべてのベンチマークで画像版と統計的に同等であり、action-sensitiveモデルは最も動きが多いシーンで最良の結果を示した。また、プロービングにより、オブジェクト位置がほぼ完全に線形分離可能であり、アテンションが少数の移動点に集中していることを確認した。さらに、訓練時に見られない重いドロップアウトに対してもプランニングが耐えることを示したが、レンジノイズは最も薄いシーンを破壊することが分かった。

議論として、点群におけるJEPAプランニングの有効性が示された一方で、レンジノイズに対する脆弱性が明らかになった。また、点群の特性を活かしたゴール潜在表現の構成が可能であることが示されたが、その一般性や限界については要旨からは不明である。さらに、frozen-encoderモデルの性能が他のモデルと比較してどうだったかは明記されていない。また、実世界の点群ノイズやオクルージョンに対する頑健性についてはさらなる検証が必要かもしれない。

次に読むべき論文としては、JEPAの原論文であるLeCunらの『A Path Towards Autonomous Machine Intelligence』や、stable-worldmodelベンチマークの元となった研究、また3D自己教師あり学習の関連研究（例えばPoint Contrastive Learningなど）が挙げられる。具体的には、要旨で参照されているJEPA設計の元となった論文や、点群表現学習の標準的な手法を参照するとよい。