日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース制御arXiv:2611.17626

微分可能な軌道最適化による統合ワールドアクションモデル

Joint World Action Models through Differentiable Trajectory Optimization

シェア:XThreadsFacebookLINEはてブBluesky

生成した行動と将来状態を力学制約付き軌道最適化の参照として用い、その最適化軌道を通じてタスク損失を微分して学習するWATOを提案。展開時は軌道最適化なしで候補を生成・ランク付けし、7環境で成功率91.7%を達成した。

詳しい要約

1. どんなもの?

将来の行動と状態を同時に生成する joint world action model (WAM) のための学習・推論手法 WATO (world action trajectory optimization) を提案する研究。生成された行動と将来状態を制御に用いることを目的とし、学習時のみ trajectory optimization を行い、展開時は候補 trajectory の生成と world model によるランキングで制御する。7つの visual control 環境で評価している。

2. 先行研究と比べてどこがすごい?

- 従来の joint WAM は trajectory imitation により行動と状態を模倣するが、その trajectory がタスクに有効か、dynamics と整合するかは保証されない。 - WATO は生成 trajectory を dynamics 制約付き trajectory optimization の参照として用い、最適化後の trajectory を通じて task loss を微分し generator を学習することで、タスク認識的かつ dynamics 整合的な trajectory 生成を目指す。 - 実験では imitation joint WAM の平均成功率 79.9% を 91.7% に改善し、強い model-based、goal-conditioned RL、generative control の baseline を上回ったと報告。 - CEM と比べ展開時に平均 11.5 倍高速で、world model 評価回数が 600.5 倍少ないと主張。

3. 技術・手法の肝は?

- 学習時: 生成器が出力する行動と将来状態の両方を、dynamics 制約付き trajectory optimization 問題における参照として利用。 - 最適化された trajectory を通して task loss を微分可能とし、その勾配で generator を訓練。これにより trajectory optimization は学習時のみ使用。 - 展開時: 反復的な trajectory optimization は行わず、候補 trajectory を直接生成し、world model でランキングして制御に用いる。 - これにより生成 trajectory のタスク有効性と dynamics 整合性を学習段階で獲得させる設計。

4. どうやって有効だと検証した?

- 7つの visual control 環境で評価。 - 平均成功率が imitation joint WAM の 79.9% から WATO で 91.7% に向上。 - model-based、goal-conditioned RL、generative control の強い baseline を上回ると報告。 - CEM との比較で展開時平均 11.5 倍高速、world model 評価回数 600.5 倍削減を報告。

5. 議論はある?

- 要旨からは不明。 - 明示されている範囲では、trajectory optimization を学習時のみに限定し展開時の計算コストを抑える点、および world model による候補ランキングで反復最適化を回避する点が議論の中心と考えられるが、限界や失敗事例、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される imitation joint WAM、cross-entropy method (CEM)、model-based 手法、goal-conditioned RL、generative control の各 baseline 関連研究。 - 背景として joint world action model (WAM) および world model を用いた model-based control の代表的研究。 - 要旨では個別論文名の参照はないため、具体的な次読論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mintae Kim, Koushil Sreenath

分類: cs.LG

原文アブストラクト

Joint world action models (WAMs) generate future actions and states together, modeling world-action trajectories rather than actions alone. However, trajectory imitation does not ensure that these trajectories are task-effective or consistent with dynamics. We present \textbf{world action trajectory optimization (WATO)}, which optimizes generated actions and future states jointly for control. WATO uses both as references in a dynamics-constrained trajectory optimization problem and differentiates the task loss through the optimized trajectory to train the generator. This makes generated trajectories task-aware and dynamics-consistent while using trajectory optimization only during training. At deployment, WATO directly generates candidate trajectories and ranks them with a world model, without iterative trajectory optimization. Across $7$ visual control environments, WATO improves average success from $79.9\%$ for the imitation joint WAM to $91.7\%$, outperforming strong model-based, goal-conditioned RL, and generative control baselines. Compared with cross-entropy method (CEM), WATO is on average $11.5\times$ faster and uses $600.5\times$ fewer world model evaluations at deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI