最小データでの汎用ロボットポリシーの適応

本研究は、事前学習済みのロボットポリシーが、1回のデモンストレーションと自律的なオンラインインタラクションのみで新しいタスクを学習できる「minimal-data adaptation」という設定を扱う。この設定は完全自律学習の現実的な近似であり、最小限の人間のガイダンスが自律学習を促進できるか、またそのために必要なアルゴリズム的要素を探る。提案手法MiDASは、事前学習済みのVision-Language-Action (VLA)モデルを少数のデモでBehavior Cloningによりタスクに固定し、その後、残差ポリシー表現を用いた価値ベースのオンライン強化学習で改善する、シンプルなoffline-to-online RLレシピである。

従来のロボット学習はタスク固有の大量の人間データ収集に依存しており、完全自律学習はスパースな報酬と弱いゼロショット探索により困難だった。本研究は、1回のデモから始めることで、事前学習ポリシーの能力を活用しつつ、オンラインRLで自律的に改善する点が新しい。特に、単一デモからの信頼性の高い適応を初めて実証した点が先行研究と比べて優れている。

手法の肝は、事前学習済みVLAを少数デモでBehavior Cloningによりタスクに固定し、その後、価値ベースのオンラインRLを残差ポリシー表現に適用すること。残差ポリシーは、ベースポリシーの出力に加算的な修正を加えることで、既存の動作を破壊せずに改善を可能にする。また、オフラインからオンラインへの移行をスムーズにするための工夫が含まれる。

LIBEROとRoboCasaのベンチマークで、1回のデモから強いタスク性能を回復できることを示し、ベースラインを大幅に上回り、デモ条件を超えた一般化を確認した。さらに、バイマニュアルのYAMプラットフォームで評価し、単一デモから得た脆弱な低成功率ポリシーを、約6時間のオンラインインタラクションで堅牢性を向上させ、新しい成功行動を学習できることを実証した。

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、完全自律学習の近似としての設定の妥当性や、より複雑なタスクへのスケーラビリティ、オンラインRLのサンプル効率などが議論の対象となり得る。

要旨で参照されている関連研究として、事前学習済みVLAモデル、Behavior Cloning、オフライン強化学習、残差ポリシー学習、およびロボット学習における自律改善に関する研究が挙げられる。具体的には、Vision-Language-Actionモデル（例：RT-2、OpenVLA）や、オフラインからオンラインへのRL適応に関する研究（例：Cal-QL、CQL）が関連する。