ADEPT、高自由度ロボットの巧みな操作を大規模RLで実現 シミュレーションから実機への転移を報告

何が起きたか

arxiv.orgに2026年8月19日付で掲載された論文「ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning」において、高自由度ロボットの巧みな操作を学習する大規模強化学習フレームワークADEPTが発表された。同フレームワークは、事前学習と事後学習を組み合わせ、シミュレーションから実機への転移を実現する。

詳細

ADEPTは、生の視覚触覚知覚から長期的なタスクを解決できる、高自由度ロボットのための大規模強化学習フレームワークである。汎用的な物体再配置タスクで器用なポリシーを事前学習し、その事前学習済みの行動を事前分布として下流タスクのポリシーを事後学習する。事前学習ポリシーは下流タスクの再配置フェーズをゼロショットで実行できるが、単純なRL微調整では転移中にこの能力が急速に劣化する。これを防ぐため、行動クローニング蒸留、批評家のウォームアップ、保守的なオン方策更新を組み合わせた安定した事後学習レシピを導入している。また、RLポリシーとロボットの間を仲介する関節空間のGeometric Fabricを導入し、運動学的な器用さを安全に活用する。事後学習された教師ポリシーは、知覚学生ポリシーに蒸留され、2つの実機（2台のRGBカメラを備えた23自由度のKuka-Allegro、2台のRGBカメラと5つの視覚ベース触覚センサーを備えた29自由度のFlexiv-Sharpa）でゼロショットのシミュレーションから実機への転移を実現し、困難な初期状態から長期的なタスクを人間レベルの速度で解決できるとしている。

Key Facts

本紙の見方

今回のADEPTは、ロボットの巧みな操作（器用操作）を強化学習で学習する際の大きな課題である「シミュレーションから実機への転移」と「高自由度の制御」に、事前学習と事後学習の枠組みで取り組んだ点が新しい。従来、器用操作のRLはタスクごとにゼロから学習することが多く、学習コストが高く、汎用性に欠けるという問題があった。ADEPTは、汎用的な物体再配置タスクで事前学習することで、下流タスクの学習を加速し、同じスキルを毎回学習し直すことを避ける。これは、自然言語処理やコンピュータビジョンで確立された「事前学習とファインチューニング」のパラダイムをロボット操作に適用したものと位置づけられる。 本紙の過去報道との接続は、関連記事が提供されていないため直接の言及はできないが、ロボット学習分野では、シミュレーションと実機のギャップ（シムトゥリアルギャップ）を埋める研究が盛んに行われており、ADEPTはその流れに沿ったものと言える。特に、視覚と触覚の生の知覚から直接学習する点は、近年のトレンドである「知覚から行動へのエンドツーエンド学習」の延長線上にある。 業界構造への含意としては、まず、高自由度ロボット（多指ハンド）の実用化が進む可能性がある。ADEPTは23自由度や29自由度のロボットで長期的なタスクを人間レベルの速度で解決できると主張しており、これは産業用ロボットやサービスロボットでの応用が期待される。また、事前学習と事後学習の枠組みは、ロボットのスキルを再利用可能な形で蓄積することを可能にし、ロボットのソフトウェアプラットフォーム化を促進する可能性がある。さらに、シミュレーションから実機への転移をゼロショットで実現する手法は、ロボットの導入コストを削減し、開発サイクルを短縮する可能性がある。 未確定の論点としては、まず、論文で報告された性能が実際の産業環境で再現できるかどうかが挙げられる。実験は特定のロボットとタスクに限定されており、汎用性の検証が必要である。また、事前学習に必要なデータ量や計算リソースが明らかにされておらず、実用化にはコストの評価が不可欠である。さらに、安全性の観点から、Geometric Fabricがどのように安全性を保証するのか、また、学習されたポリシーが予期しない状況でどのように振る舞うのかについての検証が不足している。

なぜ重要か

ADEPTは、ロボットの器用操作における学習効率と転移可能性を大幅に向上させる可能性を秘めており、多指ロボットの実用化を加速する可能性がある。また、事前学習と事後学習の枠組みは、ロボットのスキルを再利用可能な資産として扱うことを可能にし、ロボット開発のパラダイムを変える可能性がある。