S情報を用いたロボット制御のための世界モデル学習

- ロボット制御(manipulation, locomotion)向けの model-based control 手法としての world model 研究。 - 特に decoder を用いず latent forward dynamics predictor と安定化のための entropy term のみで表現を学習する LeWorldModel を拡張した $\Sigma$-LeWM を提案。 - 追加の latent loss として backward dynamics predictor と inverse dynamics action predictor を導入し、latent embedding にさらなる構造を与える。 - 目的は性能と planning efficiency の向上で、実世界ロボットの real-time model-based control への適用性改善を狙う。

- 初期の world model は decoder により mode collapse を防ぎ予測可能な latent space を学習していた。 - 近年の Joint Embedding Predictive Architecture や LeWorldModel は grounding decoder を排し、latent forward dynamics predictor と安定化 entropy term のみで embedding を学習する方向へ移行。 - 本研究は LeWorldModel に対し backward dynamics predictor と inverse dynamics action predictor という2つの latent loss を追加する点が差分。 - これにより latent embedding の構造が強化され、性能と planning efficiency の両面で改善が得られると主張。

- ベースは LeWorldModel の枠組みで、grounding decoder を使わず latent forward dynamics predictor と entropy term で表現を学習。 - そこへ backward dynamics predictor を追加し、遷移の逆方向予測を latent 空間で課す。 - さらに inverse dynamics action predictor を追加し、latent 遷移から行動を推定させる。 - これらの追加 latent loss により latent embedding に構造を強制し、計画効率と性能を高める設計。 - 詳細なアーキテクチャや損失の重み付けは要旨からは不明。

- 標準的な world model benchmarks 上で評価。 - さらに2つの simulated robot manipulation tasks で評価。 - 性能と planning efficiency の両面で改善を実証したと記載。 - 具体的なベースライン、指標、実験設定の詳細は要旨からは不明。

- 提案の動機は real-world robots の real-time model-based control への適用性向上。 - decoder なしの latent 学習に構造を足すことで性能と planning efficiency が向上する点を主張。 - ただし実機実験や real-time 制御での検証については要旨からは不明。 - 追加 loss の寄与分解、計算コスト、他手法との比較詳細は要旨からは不明。

- LeWorldModel(本研究のベース手法) - Joint Embedding Predictive Architecture (JEPA) - decoder 付きの初期 world model architectures(例: latent dynamics を decoder で grounding する手法) - model-based control / planning の標準ベンチマークに関する研究