World Models

本論文は、強化学習エージェントが環境の内部モデル、すなわち世界モデルを学習し、それを用いて計画や想像上の行動シミュレーションを行うことで、実環境との相互作用を減らしつつ効率的に学習する枠組みを提案した。具体的には、視覚入力（画像）を低次元の潜在変数に圧縮する変分オートエンコーダ（VAE）、潜在空間での遷移を予測するリカレントネットワーク（MDN-RNN）、そして潜在空間上で行動を決定するコントローラの三つのコンポーネントから構成される。このモデルは、エージェントが環境から得た高次元の観測を抽象化し、時間発展を予測できるようにすることで、実環境での試行錯誤を減らし、想像上の軌道を用いた計画を可能にした。 仕組みの核心は、まずVAEが画像を潜在ベクトルにエンコードし、次にMDN-RNNがその潜在ベクトルの系列を入力として次の潜在状態の分布を予測する点にある。MDN-RNNは混合密度ネットワークを用いることで、複数の可能な遷移を確率的に表現できる。コントローラはこの潜在空間上で行動を出力し、エージェントは学習した世界モデル内で「想像上のロールアウト」を行い、その結果得られる報酬を最大化するように方策を改善する。このアプローチにより、実環境でのサンプル効率が大幅に向上し、特に迷路探索や連続制御タスクで高い性能を示した。 この論文が画期的だったのは、それまでのモデルベース強化学習が低次元の状態空間や単純な遷移モデルに限定されていたのに対し、高次元の視覚入力から直接、確率的で非線形な世界モデルをエンドツーエンドで学習できることを示した点である。従来のモデルフリー手法は実環境での試行錯誤を大量に必要とし、モデルベース手法はモデルの誤差に脆弱だったが、本手法は潜在空間での予測誤差を最小化することで、実環境との誤差を許容しつつ計画を可能にした。また、想像上の経験を用いることで、実環境でのインタラクション数を劇的に削減できることを実証した。 フィジカルAIの観点では、この論文はロボットが自身の身体と環境のダイナミクスを内部モデルとして獲得し、それを用いて行動を計画するという、認知科学における「内部モデル」の概念を工学的に実装した先駆けとなった。その後の世界モデル研究（例えばDreamerシリーズやTransformerベースの世界モデル）は、この枠組みを拡張し、より複雑な環境や長期予測、マルチモーダル入力への対応を進めた。また、モデルベース強化学習の実用性を高め、シミュレーションと実機のギャップを埋めるための基盤としても重要である。現在のロボット学習におけるサンプル効率向上や、シミュレーション内での事前学習、実環境への転移といったテーマは、この論文が示した世界モデルの考え方に直接由来している。