何が起きたか
arXiv掲載論文は、世界モデルによる計画で訪問済みの潜在状態を避ける「Episodic Kernel Repulsion(EKR)」を提案した。追加学習を伴わないコスト項で、LeWMの平均成功率は31.8%から46.7%、H-JEPAでは54.7%から64.0%に上昇したと報告した。
詳細
EKRは、エージェントが実際に訪れた潜在状態の記憶に対し、novelty gateを通した上位k個のガウスカーネルを用いて候補計画にペナルティーを与える。ペナルティーは現在の基礎コストに応じて再スケーリングし、モデル間で強さをそろえる設計だという。 論文は2種類のJEPA世界モデルと4つのベンチマークで評価した。DINO-WMとCEMへの追加調整なしの転用では、Wall課題の公式設定と長いゴール設定でそれぞれ6.7ポイント、19.3ポイント改善。長時間のPointMazeでは44.7%から100.0%、Push-Tでは21.0%から32.0%になったと報告している。
Key Facts
| EKRは、実際に訪問した潜在状態の記憶を用いて候補計画にペナルティーを加える、追加学習を伴わないコスト項として提案された。 | [1] |
| LeWMでの平均成功率は31.8%から46.7%に、H-JEPAでは54.7%から64.0%に上昇した。 | [1] |
| 評価は2種類のJEPA世界モデルと4つのベンチマークで行われた。 | [1] |
| DINO-WMとCEMへの追加調整なしの転用で、PointMazeの成功率は44.7%から100.0%、Push-Tは21.0%から32.0%になった。 | [1] |
| 8設定のうち7設定で、計算量0.8〜1.5倍の範囲でサンプル数4倍と同等以上の結果を得たと論文は報告した。 | [1] |
本紙の見方
世界モデルの潜在表現上でゴールとの距離を縮める計画は、壁の裏や行き止まりなどに局所的な落とし穴を持ち得る。論文が示す新しさは、モデルを再学習したり計画器を置き換えたりせず、実際に通った状態の記憶を計画コストへ加える点にある。したがって成果の中心は表現学習の改善ではなく、記憶を使って反復的な再計画の振る舞いを変えることだ。 成功率の上昇幅はLeWMで14.9ポイント、H-JEPAで9.3ポイントとなる。さらに、同じ記憶を使った反実仮想比較では、特にナビゲーションで、基礎コストが高くなる場合にも訪問済み状態から離れる計画が選ばれ、行き詰まりや再訪が減ったという。これは、単にゴールへの見かけ上の近さを追うより、過去に通った経路を避けることが有効な局面を示す一方、基礎コストとのトレードオフを伴う可能性も示している。 構造上、EKRは世界モデルの予測、訪問履歴の保持、候補計画の選択をつなぐ補助機構であり、学習データやモデル自体を増やす方式とは異なる。論文は2種類のJEPAモデルでの結果に加え、DINO-WMとCEMにも追加調整なしで転用できたと報告する。この結果が示すのは、少なくとも評価された設定では、記憶に基づくコスト項を異なるモデル・計画器に持ち込める可能性である。また、8設定中7設定でサンプル数4倍と同等以上だったとの比較は、計算資源を増やす方法に対する効率面の論点を提供する。ただし、各設定の測定条件や計算量の内訳は抄録からは確認できない。 次に確認すべきなのは、記憶の容量や保持・更新方法が長時間の運用でどう影響するか、novelty gateやカーネル設定への感度、基礎コストが高くなる局面での成功率との関係である。報告値はベンチマーク上の結果であり、実環境での安全性や性能、必要な計算資源まで示すものではない。特にPointMazeの100.0%という値についても、評価試行数や条件が抄録には記載されておらず、適用範囲を判断するには実験条件の確認が要る。
なぜ重要か
論文の結果は、世界モデルの再学習ではなく、訪問履歴を計画コストに組み込む方法でも、評価した複数の課題で成功率を改善し得ることを示す。計画器のサンプル数を増やす方法との比較も報告されており、モデルや計算資源を変えずに計画時の履歴利用を加える設計が有効かどうかを検討する材料となる。
