CSO、ロボット操作ポリシーを2段階で最適化　LIBERO成功率97.5%

何が起きたか

2026年10月28日掲載の論文は、ロボット操作ポリシーを改善する2段階の事後学習フレームワーク「Cascaded Skills Optimization（CSO）」を提案した。軽量なQueST型ポリシーで評価し、LIBEROの総合成功率を80.1%から97.5%に高めたほか、実機の単腕5タスクで成功率61.0%を達成したと報告した。RoboTwin2.0でも性能を改善したとしている。

詳細

第1段階のRejection-Sampling Supervised Fine-tuning（RS-SFT）では、成功したオンライン軌跡の分布に、観測からスキルを選ぶ対応関係を教師あり微調整で合わせる。第2段階のSkills Policy Optimization（SPO）では観測エンコーダーを固定し、完了したスキルごとに独立したクリップ付き重要度比を計算して更新する。 論文は、VQ-VAEなどで連続行動を離散スキルに変換する方式について、量子化誤差がスキル事前分布を最適でないものにし、性能を損なう課題を挙げる。CSOの評価では、FAST、離散BEAST、固定バッファーIQLとの比較も行い、2段階の事後学習戦略の有効性を検証したとしている。

Key Facts

本紙の見方

この研究の焦点は、連続動作を離散スキルに分ける既存の設計を置き換えることではなく、その表現を使うポリシーの学習後に、スキル分布と更新方法を順に整える点にある。論文が示す問題は、量子化誤差によってスキル事前分布が最適でなくなることと、強化学習を直接適用した場合にエンコーダー更新が不安定になること、重要度サンプリングの粒度に難しさがあることだ。CSOは前段で成功軌跡に観測からスキルへの対応を合わせ、後段ではエンコーダーを固定してスキル単位に更新する。つまり、動作表現の学習と方策改善を一度に扱わず、成功例への整合と更新の安定化を別段階に分けた構成と読める。 結果の読みどころは、LIBEROでの80.1%から97.5%への変化と、実機の単腕5タスクにおける61.0%という指標が、シミュレーション評価と物理タスクの双方で報告されている点にある。ただし、両者は同じ条件の数値ではなく、成功率をそのまま比較して実機性能の差を測ることはできない。RoboTwin2.0でも改善したとの記載はあるが、抄録には数値が示されていないため、どの程度の向上かはここから判断できない。 産業面では、スキルを単位として方策を更新する設計が、複数の動作要素からなる操作タスクの学習をどう扱うかに関わる。とくに、完了したスキルごとに重要度比を独立計算することは、更新の粒度を時間ステップ単位ではなくスキル単位に置く選択であり、学習手順の比較対象になる。一方、この結果だけで異なるロボット機体やタスクへの転用性、継続運用時の安定性が確認されたとはいえない。次に検証すべきなのは、各評価のタスク数や試行条件、成功判定、比較手法との同一条件性、学習に要する計算量、実機での再現性である。抄録にある実機評価は5タスクであり、その範囲を超える一般化については、追加の評価結果が必要となる。

なぜ重要か

量子化誤差やエンコーダー更新の不安定さを課題として挙げる論文に対し、CSOは成功軌跡への教師あり整合と、エンコーダーを固定したスキル単位の最適化を分けて適用する。LIBEROと実機の単腕5タスクで結果が報告されたことで、提案手法はシミュレーション上の成功率だけでなく物理タスクでも評価されているが、適用範囲は報告されたタスク条件に限って読む必要がある。