階層型残差方策学習による実世界モバイルマニピュレーションの疎な人間ガイダンス

- Mobile Manipulation (MoMa) の実世界ファインチューニングを安定かつサンプル効率良く行う枠組み HiRe-MoMa を提案。 - Hierarchical Residual Architecture で凍結した base policy を微調整。 - Policy-Agnostic Residual が base policy に加法的補正を学習。 - Hierarchical Decoupling で residual を mobile-base と manipulator-arm の head に分割し、単方向 conditioning で勾配干渉を緩和。 - Expert-Guided Value Alignment で 20% 未満の sparse human intervention を活用し critic の value landscape を再形成。 - TIAGo++ 上で約 30 分のオンライン相互作用により性能向上を確認。

- 実世界 MoMa のファインチューニングは高次元行動空間と異種モジュール間の結合により困難。 - 既存研究との具体的比較は要旨からは不明。 - ただし、base policy アーキテクチャに依存せず性能を向上できる点、20% 未満の sparse human guidance でサンプル効率を高める点、約 30 分のオンライン相互作用で実機微調整を可能にする点を主張。 - 実世界 MoMa の on-robot fine-tuning を可能にする最初期の枠組みの一つと位置づけ。

- Hierarchical Residual Architecture: 凍結した base policy を土台に residual を学習。 - Policy-Agnostic Residual: base policy に依存しない加法的補正。 - Hierarchical Decoupling: residual を mobile-base と manipulator-arm の head に分離し、単方向 conditioning を導入。 - Expert-Guided Value Alignment: 20% 未満の sparse human intervention を用いて critic の value landscape を再形成し、専門家事前知識で自律探索を誘導。 - これらにより勾配干渉を緩和し、実世界でのサンプル効率を改善。

- TIAGo++ プラットフォーム上で広範な実世界実験を実施。 - 約 30 分のオンライン相互作用で一貫してタスク性能を向上。 - base policy のアーキテクチャに依存せず性能向上を確認。 - 詳細はプロジェクトウェブサイト https://hire-moma.github.io/ で公開。

- 実世界 MoMa のファインチューニングにおける高次元行動空間と異種モジュール間の結合の難しさを指摘。 - sparse human guidance が 20% 未満の訓練カバレッジでも critic の value landscape を再形成し、自律探索を導けると主張。 - 動的で人間中心の環境に複雑なロボットシステムを展開するための実用的パラダイムを提供。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、residual policy learning、hierarchical reinforcement learning、value alignment、human-in-the-loop learning、mobile manipulation の実世界強化学習に関する定番研究を挙げる。 - 具体的な論文名は要旨からは不明。