何が起きたか

2026年8月21日にarXivで公開された論文「Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning」は、大規模視覚運動BCポリシーに小型のオフポリシーQ関数を組み合わせる「Q-Planning」を提案した。Q-Planningは、BCポリシーが失敗から学習できないという根本的な限界を克服し、Q関数のみを微調整することで自己改善を実現する。シミュレーションではLIBERO-10で93%から99%、RoboTwinで83.8%から91.4%に成功率を向上させ、実ロボットの接触を伴う両腕タスクではスタックカップで40%から90%、財布挿入で25%から80%に改善した。

詳細

Q-Planningは、BCポリシーと同じ成功デモンストレーションで訓練されたQ関数を利用し、推論時にはBCのドローに対する単一ステップのQ加重平均で価値誘導の行動選択を行う。オンライン自己改善ではQ関数のみを微調整し、BCの重みは変更しない。10回の自己改善イテレーションで、LIBERO-10は93%から99%、RoboTwinは83.8%から91.4%に向上し、ほぼ上限に達したスイートでは成功エピソードの時間も短縮された。実ロボットの接触を伴う両腕タスクでは、BCを凍結し人間の介入なしに、スタックカップが5イテレーションで40%から90%、財布挿入が25%から80%に改善した。一方、成功ロールアウトのみでのSFTは55%と30%で停滞した。同一のオンラインバジェットの下で、Q-PlanningはBest-of-N、フィルタリングSFT、IBRL、DSRL、DAWRの中で、補助アクターを訓練せずに失敗から安定して改善できる唯一の手法である。

Key Facts

Q-Planningは、大規模視覚運動BCポリシーに小型のオフポリシーQ関数を組み合わせる手法である。[1]
Q関数はBCポリシーと同じ成功デモンストレーションで訓練され、その後、成功と失敗の両方の展開ロールアウトを吸収できる。[1]
推論時には、BCのドローに対する単一ステップのQ加重平均により価値誘導の行動選択を行う。[1]
オンライン自己改善ではQ関数のみを微調整し、BCの重みは変更しない。[1]
LIBERO-10で93%から99%、RoboTwinで83.8%から91.4%に成功率が向上した。[1]

本紙の見方

今回の提案であるQ-Planningは、ロボット操作における行動クローニング（BC）の自己改善不可能性という根本的な限界に、オフポリシーQ関数という小さな部品を追加することで対処する点で新規性が高い。BCは成功デモンストレーションからの模倣に優れるが、失敗から学習する非対称性を持たない。Q-Planningは、価値を推定するQ関数が成功と失敗の両方のロールアウトを吸収できるという非対称性を利用し、BCの重みを固定したままQ関数のみを微調整することで、大規模モデルの再訓練を避けつつ自己改善を実現する。これは、強化学習の微調整が数十億パラメータのモデルにスケールしにくいという課題への実用的な回答である。 本論文の核心は、Q関数が「模倣」ではなく「価値推定」を行う点にある。これにより、失敗データを直接学習に組み込むことが可能になり、BCでは不可能だった自己改善のループが成立する。シミュレーションと実ロボットの両方で成功率が大幅に向上したことは、このアプローチの有効性を示している。特に、実ロボットの接触を伴うタスクで、人間の介入なしにBCを凍結したまま改善が進んだ点は、展開中のデータを活用した継続的学習の実現可能性を示唆する。 業界構造への含意として、この手法はロボットポリシーの学習パラダイムを変える可能性がある。従来のBCは大規模なデモンストレーションデータに依存するが、Q-Planningは展開中の失敗データを活用できるため、データ効率が向上する。また、Q関数のみを微調整するため、計算コストが抑えられ、エッジデバイスでのオンライン学習が現実的になる。これは、ロボットの自己改善を製品化する上で重要な要素となる。 未確定の論点としては、Q-Planningがさらに大規模なモデルや多様なタスクでどの程度スケールするか、また、実環境での長期的な自己改善の安定性が挙げられる。さらに、Q関数の訓練に必要なデータ量や、失敗ロールアウトの質が改善に与える影響も検証が必要である。

なぜ重要か

Q-Planningは、ロボットポリシーが展開中の失敗から自律的に学習する道を開くものであり、人手によるデモンストレーション収集への依存を減らし、ロボットの適応性と実用性を大きく高める可能性がある。これは、ロボットが実世界で継続的に改善される未来を示唆している。