日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習arXiv:2611.06905

強化学習による汎用ロボットポリシーのマルチタスク自己改善スケーリング

Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement

シェア:XThreadsFacebookLINEはてブBluesky

汎用ロボットポリシーを展開時に強化学習で多様なタスクへ同時に自己改善できるか検証し、価値推定や資源配分の設計次第で未学習タスクにも汎化することを示した。

詳しい要約

1. どんなもの？

- 汎用ロボットポリシー（generalist robot policy）を、deployment 時に複数タスクへ同時に online RL で改善できるかを問う研究。 - 単一タスクの self-improvement ではなく、多様なタスクを同時に扱う multi-task な generalist improvement を対象とする。 - 構造化された評価セットを構築し、value estimation・policy extraction・resource allocation などの設計選択を体系的に検討する。 - 正しい recipe により、online 学習で扱っていないタスクへの generalization と性能向上も起こり得ることを示す。 - robot foundation model に対する online generalist improvement の初期の証拠の一つと位置づける。

2. 先行研究と比べてどこがすごい？

- 従来の iterated self-improvement via RL は主に single-task 設定で検討され、狭い deployment タスクの改善に留まっていた。 - 本研究は base policy の multi-task 能力に対応し、多様なタスクを同時に改善する generalist improvement を扱う点が異なる。 - 単に online 改善できるだけでなく、online 学習に含まれないタスクへ generalization し性能が上がる場合があることを示す。 - その generalization の発生条件を特徴づけ、training task distribution と value-based RL の使用が重要だと示す。 - 著者らによれば、robot foundation model の online generalist improvement の初期証拠の一つ。

3. 技術・手法の肝は？

- 汎用ロボットポリシーの multi-task 改善能力を測るため、構造化された評価セットを構築する。 - value estimation、policy extraction、resource allocation に関する algorithmic・practical な設計選択を体系的に評価する。 - online RL による iterated self-improvement の recipe を検討し、多様なタスクへの同時改善を目指す。 - generalization の発生を特徴づけるため、training task distribution と value-based RL の寄与を分析する。 - 具体的なアルゴリズム名やモデル名、実装詳細は要旨からは不明。

4. どうやって有効だと検証した？

- 構築した構造化評価セット上で、generalist improvement 能力を体系的に評価する。 - value estimation・policy extraction・resource allocation などの設計選択を比較検討する。 - online 学習で扱った多様なタスクでの改善に加え、online 学習に含まれないタスクでの性能向上を確認する。 - generalization が起こる条件を特徴づけ、training task distribution と value-based RL の重要性を示す。 - 具体的なベンチマーク名・タスク数・実験規模は要旨からは不明。

5. 議論はある？

- generalist policy が online で多様なタスクにわたり改善可能であることを示す一方、generalization の発生条件の解明が議論の焦点。 - training task distribution と value-based RL の使用が generalization に critical であると述べる。 - どのような分布設計や resource allocation が有効かは要旨で詳細に述べられていない。 - 限界や失敗条件、計算コスト、実機展開上の課題については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、iterated self-improvement via RL、value-based RL、generalist robot policy / robot foundation model の pre-training 研究を挙げる。 - 具体的な論文名は要旨からは不明のため、同分野の定番である generalist robot policy の pre-training 研究や offline-to-online RL の文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Michal Korniak, Marco Bagatella, Ralf Römer, Michal Nauman, Yarden As, Pranav Vignesh, Manan Agarwal, Leander Diaz-Bone, Piotr Zalewski, Mikołaj Czarnecki, Lenart Treven, Shashwat Saxena, Sreyas Venkataraman, Sarvesh Patil, Zhiyuan Zhou, Daniel Marta, Oier Mees, Nur Muhammad Mahi Shafiullah, Carmelo Sferrazza, Bhavya Sukhija, Angela P. Schoellig, Andreas Krause, Max Simchowitz, Andrew Wagenmaker

分類: cs.LG, cs.RO

原文アブストラクト

The introduction of generalist robot policies has enabled a single, large model to learn to perform a variety of tasks from a vast pre-training corpus. While these models often exhibit powerful zero-shot generalization capabilities, they typically require an adaptation phase to achieve sufficient performance in deployment. Iterated self-improvement via reinforcement learning (RL) has demonstrated promise in enabling this adaptation, yet such approaches have been largely explored in single-task settings - where the goal is to simply improve on a narrow deployment task - which lies in stark contrast to the multi-task capabilities of the base policy. In this work we ask whether generalist robot policies are capable of multi-task, generalist improvement in deployment - targeting many diverse tasks simultaneously - and what algorithmic recipe enables this. To answer this question, we first develop a set of structured evaluations to test generalist improvement capabilities, and systematically evaluate algorithmic and practical design choices regarding value estimation, policy extraction and resource allocation. We show that not only can generalist policies be improved online across diverse tasks, but that the right recipe can enable generalization and increase performance on tasks not considered during online training. We characterize when this generalization occurs and show that both the training task distribution and the use of value-based RL are critical. To the best of our knowledge, this is among the first evidence for online generalist improvement for robot foundation models.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI