日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ワールドモデルarXiv:2611.06901

動作誘導型コントラスト正則化による潜在ワールドモデル

Motion-guided Contrastive Regularization For Latent World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPA型ワールドモデルが背景などの静的要素に依存して操作状態の変化を無視する「静的崩壊」を防ぐため、光フロー類似度をソフトなコントラスト目標に用いる動作誘導型正則化を提案し、背景ランダム化環境での計画成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- JEPA-style の world model における表現学習の失敗モードと、その対策手法の提案 - action-conditioned latent dynamics を観測再構成なしで学習する枠組みを対象 - static collapse と呼ぶ失敗モードを同定: encoder が episode 固有の静的 content を保持し、manipulation に関わる state 変化を抑圧する現象 - 対策として motion-guided contrastive regularization を提案 - OGBench-Cube, LIBERO-Object など複数の visual-control benchmark で評価

2. 先行研究と比べてどこがすごい?

- 従来の JEPA-style world model は distributional regularization のみに依存 - SIGReg のような regularizer だけでは static collapse を防げないことを示した点が新しい - static content は時間的に予測可能だが episode 間で多様なため、既存の regularizer では対処困難という分析 - OGBench-Cube の制御実験で、randomized backgrounds の導入が planning 性能を大きく劣化させることを示した - 提案法は LeWorldModel (LeWM) に対し OGBench-Cube で 52%→78%、LIBERO-Object で 14%→54% と改善

3. 技術・手法の肝は?

- motion-guided contrastive regularization を導入 - 予測された latent transition を、同一 episode 内の候補観測への transition と比較する contrastive 学習 - static background identity が action outcome の識別に寄与しにくくする狙い - optical-flow 類似度を soft contrastive target として使用し、類似 motion の候補には類似の supervision を与える - latent prediction と SIGReg を組み合わせた目的関数で、within-episode の state 区別と関連 transition 間の類似性を保持 - 詳細な architecture や loss の定式化は要旨からは不明

4. どうやって有効だと検証した?

- OGBench-Cube と LIBERO-Object を含む visual-control benchmark で planning 性能を比較 - OGBench-Cube (randomized backgrounds) で planning success が LeWM の 52% から 78% へ改善 - LIBERO-Object で 14% から 54% へ改善 - 他の 4 つの visual-control benchmark では同等の性能を維持 - OGBench-Cube 上で randomized backgrounds を導入する制御実験により static collapse の影響を検証

5. 議論はある?

- static collapse が distributional regularization だけでは防げないという失敗モードの指摘 - static content の時間的予測可能性と episode 間多様性が失敗を持続させるという分析 - randomized backgrounds が manipulation 課題自体を変えずに planning 性能を劣化させるという知見 - optical-flow を soft target に用いる設計の一般性や限界については要旨からは不明 - 他の benchmark での同等性能の詳細や計算コストは要旨からは不明

6. 次に読むべき論文は?

- LeWorldModel (LeWM): 主要な比較対象 - SIGReg: 既存の distributional regularizer として比較・組み合わせ - JEPA-style world model の関連研究 - OGBench-Cube, LIBERO-Object を用いた visual-control / planning の関連研究 - optical-flow を用いた contrastive representation learning の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiwen Chen, Qiqi Hou, Jisoo Jeong, Yinhao Zhu, Huaizu Jiang, Amir Said

分類: cs.CV

原文アブストラクト

JEPA-style world models learn action-conditioned latent dynamics without reconstructing observations, but distributional regularization alone does not ensure that their representations preserve information needed for control. We identify static collapse, a failure mode in which the encoder preserves episode-specific static content while suppressing manipulation-relevant state changes. Because static content is temporally predictable yet diverse across episodes, this failure can persist despite regularizers such as SIGReg. A controlled study on OGBench-Cube shows that introducing randomized backgrounds substantially degrades planning performance while leaving the underlying manipulation task unchanged. To address this problem, we propose motion-guided contrastive regularization. Our approach compares predicted latent transitions with transitions to candidate observations from the same episode, reducing the usefulness of static background identity for distinguishing action outcomes. Optical-flow similarities provide soft contrastive targets, allowing candidates with similar motion to receive similar supervision. Combined with latent prediction and SIGReg, our objective encourages representations to preserve within-episode state distinctions and similarities between related transitions. Our method improves planning success over LeWorldModel (LeWM) from 52% to 78% on OGBench-Cube with randomized backgrounds and from 14% to 54% on LIBERO-Object, while maintaining comparable performance on four other visual-control benchmarks.

関連論文

PR本紙発行元 EmplifAI