日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.31194

Inside-JEPA:潜在世界モデルにおける予測から関係的接地へ

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPAの潜在状態にエンティティペア間の関係チャネルを組み込み、逆ダイナミクス損失で関係ラベルなしに関係情報を接地できることを示した研究。

詳しい要約

1. どんなもの?

- JEPA(Joint-embedding predictive architecture)の潜在状態を解釈可能にする研究 - 順序付きエンティティペア用の relational channels を潜在状態内に組み込む Inside-JEPA を提案 - 潜在空間での予測(latent prediction)だけでなく、関係性の grounding を目指す - 対象タスクは Something-Something V2、RH20T のロボットエピソードなど - 潜在ワールドモデルの「中身」を可視化・評価する枠組みと位置づけられる

2. 先行研究と比べてどこがすごい?

- 従来の JEPA は潜在空間での効率的な planning を可能にするが、状態が不透明(opaque)という課題 - Inside-JEPA は relational channels を潜在状態に明示的に持たせ、その grounding を評価可能にする点が新しい - 潜在予測のみでは relational head が random と同等という負の結果を示し、inverse-dynamics loss の重要性を切り分けた - 関係ラベルなしで inverse-dynamics loss により grounding できることを示した点が先行研究との差分

3. 技術・手法の肝は?

- JEPA の潜在状態内に、順序付きエンティティペア用の relational channels を配置 - inverse-dynamics loss を用い、チャネル変化から行動を復元する形で監督 - inverse head がチャネルを読む場合(単独または全状態の一部)に grounding が成立 - 関係ラベルを用いずに grounding する設計 - 比較として entity latents 上の inverse head、shuffled labels、label-free 目的関数、5% のみの行動ラベルなども検証

4. どうやって有効だと検証した?

- Something-Something V2 で、latent prediction のみは random relation head と同等 - inverse-dynamics 監督により relational AUROC が ten settings で .065-.103 改善(annotated boxes 使用時) - RH20T のロボットエピソードで held-out tasks に対し .081 改善 - off-the-shelf detection/tracking を用い five relations で .050-.061 改善 - 行動が与えられた際の予測関係変化は AUROC .599 で、観測未来関係 .621 に迫る - one-step relational goals では 16 チャネルの supervised readout が 65 行動中 top-5 に正解を 43% でランク(prediction-only 24%、frequency prior 17%)

5. 議論はある?

- latent prediction だけでは relational channels が grounding されないという否定的結果が示唆的 - entity latents 上の inverse head は行動をより正確に復号するが relational grounding はほとんど改善しない - shuffled labels、two label-free objectives、5% の行動ラベルでは grounding に失敗 - 観測未来関係と予測関係変化の AUROC 差(.621 vs .599)は残るギャップとして議論可能 - 要旨からは不明:計算コスト、スケーラビリティ、他ドメインへの一般化

6. 次に読むべき論文は?

- JEPA 関連の元研究(Joint-embedding predictive architecture) - inverse dynamics / inverse model を用いた表現学習の関連研究 - Something-Something V2 や RH20T を用いたロボット学習の関連研究 - off-the-shelf detection/tracking を用いた関係認識の研究 - 要旨で明示的な参照論文名は挙げられていないため、上記は同分野の定番・関連手法を一般名で記載

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hossein Resani, Javen Qinfeng Shi

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

Joint-embedding predictive architectures (JEPAs) learn world models in latent space, enabling efficient planning but leaving their states opaque. We introduce Inside-JEPA, which places relational channels for ordered entity pairs inside the JEPA latent state and shows that an inverse-dynamics loss can ground these channels without relation labels when its head reads them, either alone or as part of the full state. On Something-Something V2, latent prediction alone performs no better than a random relation head, while inverse-dynamics supervision that recovers actions from channel changes improves relational AUROC by .065-.103 across ten settings with annotated boxes, by .081 on RH20T robot episodes with held-out tasks, and by .050-.061 across five relations using off-the-shelf detection and tracking. An inverse head on entity latents decodes actions more accurately but barely improves relational grounding; shuffled labels, two label-free objectives, and action labels on only 5% of the pairs also fail to ground the channels. Given an action, predicted relational changes approach the quality of observed future relations (AUROC .599 vs .621). For one-step relational goals, a supervised readout of the 16 channels ranks the correct action among the top five of 65 in 43% of cases, compared with 24% for prediction-only latents and 17% for a frequency prior.

関連論文

PR本紙発行元 EmplifAI