日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.41540

FOCUS: 最適輸送による教師なし模倣のための一階制御

FOCUS: First-Order Control Using Optimal Transport Supervision for Imitation from Observations

シェア:XThreadsFacebookLINEはてブBluesky

観測のみからの模倣学習において、局所的な最適輸送マッチングと短ホライズンの微分可能アクター・クリティック学習を組み合わせ、接触の多い筋骨格ヒューマノイド制御でも安定かつ高効率に学習できる手法を提案した。

詳しい要約

1. どんなもの？

- 状態のみのデモンストレーションから模倣学習を行う手法 FOCUS の提案 - 時間的対応が未知の expert 軌道と agent の rollout を optimal transport で対応付ける - 短ホライズンの differentiable actor-critic と組み合わせる - 接触の多い locomotion タスク（DFlex、152 muscle activations の musculoskeletal humanoid を含む）を対象

2. 先行研究と比べてどこがすごい？

- adversarial imitation-from-observation 手法と比較して sample efficiency と training stability を改善 - 先行の differentiable imitation ベースラインも上回る - 時間的に整列した軌道や expert に合わせた初期化・teacher forcing を必要としない - 長い接触リッチ軌道の微分で不安定になりやすい問題に対処

3. 技術・手法の肝は？

- local optimal-transport alignment で agent の rollout window を複数のサンプル expert segment にマッチング - soft best-of-K 目的で局所的に整合するマッチを重視 - transport ベースのコストを differentiable imitation reward として利用 - 学習した critic が rollout horizon を超えて価値を bootstrap - 短ホライズンの differentiable actor-critic 学習と組み合わせる

4. どうやって有効だと検証した？

- DFlex の接触リッチな locomotion タスクで評価 - 152 muscle activations で制御される musculoskeletal humanoid を含む - adversarial imitation-from-observation 手法および先行 differentiable imitation ベースラインと比較 - sample efficiency と training stability の改善を報告

5. 議論はある？

- 要旨からは不明（限界や失敗ケース、計算コスト、K の感度などは明示されていない）

6. 次に読むべき論文は？

- adversarial imitation-from-observation 手法（例: 当該分野の adversarial 系ベースライン） - 先行の differentiable imitation ベースライン - differentiable simulator を用いた pathwise policy gradient 研究 - optimal transport を用いた imitation learning 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: João A. Cândido Ramos, Lionel Blondé, Hugues Vinzant, Jacopo Castellini, Alexandros Kalousis

分類: cs.LG, cs.RO

原文アブストラクト

Imitation learning from observations must recover behavior from state-only demonstrations without known temporal correspondence. Differentiable simulators provide pathwise policy gradients, but differentiating through long, contact-rich trajectories can make optimization unstable. We introduce FOCUS, which combines local optimal-transport alignment with short-horizon differentiable actor-critic learning. FOCUS matches agent rollout windows to multiple sampled expert segments using a soft best-of-$K$ objective that emphasizes locally compatible matches. The resulting transport-based costs provide differentiable imitation rewards, while a learned critic bootstraps value beyond the rollout horizon. FOCUS requires neither temporally aligned trajectories nor expert-aligned initialization or teacher forcing. Across contact-rich locomotion tasks in DFlex, including a musculoskeletal humanoid controlled by 152 muscle activations, FOCUS improves sample efficiency and training stability over adversarial imitation-from-observation methods and prior differentiable imitation baselines.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI