軌道修正：ワールドモデル計画によるデプロイ時の方策改善

- 展開時における visuomotor policy の失敗を、追加データ収集や再学習なしで改善する枠組み。 - offline で学習した monitoring-and-intervention フレームワーク。 - 対象 policy へは black-box query access のみを仮定。 - 限られた labeled on-policy rollouts から policy-conditioned liveness value を学習。 - 同じ rollouts と play data で compact latent world model を学習。 - 展開時に liveness value で進捗を監視し、停滞を検知すると short-horizon planner が world model 内で是正行動を探索。 - その後、制御を nominal policy に戻す。

- 従来は性能・頑健性向上に追加データ収集、再学習、policy アーキテクチャ変更が必要で時間・資源コスト大。 - 提案法は offline 学習済みの監視・介入モジュールのみで展開時改善を実現。 - nominal policy を black-box として扱い、内部改変や再学習を不要とする点が特徴。 - 限られた labeled on-policy rollouts と play data で学習可能。 - 具体的な先行研究との定量比較は要旨からは不明。

- policy-conditioned liveness value を学習し、nominal policy のタスク完了への進捗を測る。 - 同じ rollouts と play data から compact latent world model を学習。 - 展開時、liveness value が進捗喪失を検知。 - short-horizon planner が world model 内で是正行動を探索。 - 計画目的関数として同じ liveness value を使用。 - 介入後は nominal policy に制御を戻す。 - リアルタイム制御をサポート。

- LIBERO-Goal task suite で評価。 - Franka Panda manipulator で評価。 - nominal policy として vision-language-action model $π_{0.5}$ と diffusion policy を使用。 - タスク成功率の有意な改善を実証。 - リアルタイム制御をサポートすることを確認。 - 追加結果と動画はプロジェクトサイトで公開。

- 展開時の失敗を追加データ・再学習・アーキテクチャ変更なしで改善する点を主張。 - black-box query access のみで適用可能。 - リアルタイム制御をサポート。 - 限界、失敗事例、計算コスト、一般化性に関する議論は要旨からは不明。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として vision-language-action model $π_{0.5}$、diffusion policy、LIBERO-Goal task suite、Franka Panda manipulator が挙げられる。 - 同分野の定番として world model planning、model-based reinforcement learning、visuomotor policy learning が次に読むべき候補。