日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.19796

世界モデルのためのSenseパラダイム

The Sense Paradigm for World Models

シェア:XThreadsFacebookLINEはてブBluesky

埋め込み空間の距離に意味を持たせる単一のクロスエントロピー損失「Sense」を提案し、不可逆遷移の検出と計画精度で既存手法を大きく上回った。

詳しい要約

1. どんなもの?

- 潜在空間で将来を予測する latent world model の新しい学習パラダイム「Sense」の提案 - 埋め込み空間の距離に意味を持たせ、可逆な遷移と不可逆な遷移を区別できるようにする - 単一の cross-entropy loss を directed distance d(x→y)=Σ_i ReLU(y_i−x_i) 上に定義 - 4つの pixel 環境と TwoRoom ナビゲーションベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 既存手法は collapse 対策として target network、variance penalty、distribution penalty などを追加 - これらは collapse を防ぐが埋め込み距離に意味がなく、可逆/不可逆遷移を区別できない - Sense は単一の cross-entropy loss のみで collapse を回避 - 比較対象の LeWorldModel では不可逆遷移検出 AUC が 0.39–0.59 に対し Sense は 0.95–1.00 - TwoRoom の planning 成功率が 100% 対 91% と向上

3. 技術・手法の肝は?

- directed distance d(x→y)=Σ_i ReLU(y_i−x_i) 上の cross-entropy loss を採用 - この loss 自体が collapse を防ぐため、encoder に predictor を不要とする - predictor は固定された埋め込みに対し後から plain regression で fitting - 距離が方向性を持つことで可逆/不可逆遷移の識別が可能になる

4. どうやって有効だと検証した?

- 4つの pixel 環境で、Sense が学習した return distance による不可逆遷移検出 AUC を評価(0.95–1.00) - LeWorldModel のナビゲーションベンチマーク TwoRoom で planning 成功率を比較(100% vs 91%) - ゴールを遠ざけた際の planning 失敗率を Cup、Cliff、Sokoban、Pendulum で baseline と比較 - Sense は Cup、Cliff、Sokoban でほぼゼロ、Pendulum で全手法中最小

5. 議論はある?

- 埋め込み距離に意味を持たせる点が本手法の中心的議論 - 可逆/不可逆遷移の区別が planning 性能に寄与する可能性 - ゴール距離増加に対する頑健性が baseline より高い点を主張 - 具体的な限界や失敗ケースについての議論は要旨からは不明

6. 次に読むべき論文は?

- LeWorldModel(主要比較対象) - target network を用いる world model 研究 - variance penalty や distribution penalty を用いる collapse 対策手法(例: VICReg 系) - pixel 環境での planning ベンチマーク(Cup、Cliff、Sokoban、Pendulum、TwoRoom)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haidong Hu

分類: cs.LG

原文アブストラクト

Latent world models predict the future in an embedding space rather than in pixels. An encoder trained only to predict collapses and maps every observation to the same point, so existing models add a mechanism against collapse, such as a target network, a variance penalty or a distribution penalty. These mechanisms keep the embedding from collapsing, but they leave its distances without meaning, and the model cannot tell a reversible transition from an irreversible one. We propose Sense, a single cross-entropy loss over the directed distance $d(x\to y)=\sum_i \mathrm{ReLU}(y_i-x_i)$ that replaces these mechanisms. The loss avoids collapse on its own, and since the encoder no longer needs the predictor, the predictor is fitted afterwards to fixed embeddings by plain regression. On four pixel environments, the return distance learned by Sense detects irreversible transitions with an AUC between 0.95 and 1.00, where LeWorldModel stays between 0.39 and 0.59. On TwoRoom, the navigation benchmark of LeWorldModel, planning with Sense reaches the goal in 100% of episodes against 91% for LeWorldModel. As the goal moves farther away, the planning failure rate of every baseline grows, while that of Sense stays near zero in Cup, Cliff and Sokoban and is the lowest of all methods in Pendulum.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI