将来の行動と状態を同時に生成する joint world action model (WAM) のための学習・推論手法 WATO (world action trajectory optimization) を提案する研究。生成された行動と将来状態を制御に用いることを目的とし、学習時のみ trajectory optimization を行い、展開時は候補 trajectory の生成と world model によるランキングで制御する。7つの visual control 環境で評価している。
- 7つの visual control 環境で評価。
- 平均成功率が imitation joint WAM の 79.9% から WATO で 91.7% に向上。
- model-based、goal-conditioned RL、generative control の強い baseline を上回ると報告。
- CEM との比較で展開時平均 11.5 倍高速、world model 評価回数 600.5 倍削減を報告。
5. 議論はある?
- 要旨からは不明。
- 明示されている範囲では、trajectory optimization を学習時のみに限定し展開時の計算コストを抑える点、および world model による候補ランキングで反復最適化を回避する点が議論の中心と考えられるが、限界や失敗事例、一般化性に関する議論は要旨からは不明。
6. 次に読むべき論文は?
- 比較対象として言及される imitation joint WAM、cross-entropy method (CEM)、model-based 手法、goal-conditioned RL、generative control の各 baseline 関連研究。
- 背景として joint world action model (WAM) および world model を用いた model-based control の代表的研究。
- 要旨では個別論文名の参照はないため、具体的な次読論文は要旨からは不明。
Joint world action models (WAMs) generate future actions and states together, modeling world-action trajectories rather than actions alone. However, trajectory imitation does not ensure that these trajectories are task-effective or consistent with dynamics. We present \textbf{world action trajectory optimization (WATO)}, which optimizes generated actions and future states jointly for control. WATO uses both as references in a dynamics-constrained trajectory optimization problem and differentiates the task loss through the optimized trajectory to train the generator. This makes generated trajectories task-aware and dynamics-consistent while using trajectory optimization only during training. At deployment, WATO directly generates candidate trajectories and ranks them with a world model, without iterative trajectory optimization. Across $7$ visual control environments, WATO improves average success from $79.9\%$ for the imitation joint WAM to $91.7\%$, outperforming strong model-based, goal-conditioned RL, and generative control baselines. Compared with cross-entropy method (CEM), WATO is on average $11.5\times$ faster and uses $600.5\times$ fewer world model evaluations at deployment.