動的操作スキルのための高速オンロボット学習：ロボットジャグリング

本論文は、両腕ロボットが実機上で直接、数分以内に多様なジャグリングパターンを学習できるオンライン学習フレームワークを提案する。sim2realギャップが大きい場合でも、モデルが実世界から遠く離れていても学習に極めて有用であることを示し、学習はロボットの現在の知識を置き換えるのではなく、その上に構築すべきだという哲学を提唱する。具体的には、蓄積された経験から局所モデルを学習しつつ、経験が疎な領域では大域的な事前モデルを保持して外挿する正則化メモリベース学習を導入する。さらに、連続するスローとキャッチの間の安全な遷移を保証する相互到達可能集合を構築し、関節やアクチュエータの限界を超えないようにする。これにより、多指ハンドと搭載ビジョンを備えた両腕ロボットが、cascade、tennis、half-shower、shower、boxの5つの標準的な3ボールジャグリングパターンを、5分未満の実世界インタラクションで安全に学習・構成できることを実証する。

先行研究では、シミュレーションで学習したポリシーを実機に転移するsim2realアプローチや、実機での試行錯誤による強化学習が一般的だが、sim2realギャップやサンプル効率、安全性の問題があった。本手法は、不完全な事前モデルを活用しつつ、実機での経験から局所的に学習することで、sim2realギャップを克服し、数分という短時間での学習を実現している点が優れている。また、学習を現在の知識の置き換えではなく拡張として捉え、安全な探索を保証する点も新しい。

手法の核は、正則化メモリベース学習と相互到達可能集合の2つ。前者は、実機での経験をメモリに蓄積し、その局所的なモデルを学習するが、経験が不足している領域では事前の大域モデルを外挿に使用する。これにより、未探索の行動空間を無闇に探索せず、効率的で安定したオンライン学習を実現する。後者は、連続するスローとキャッチの状態遷移が、ロボットの関節やアクチュエータの限界を超えないことを保証する安全な状態集合を計算し、実機での反復練習を安全に行えるようにする。

有効性は、実機の両腕ロボット（多指ハンド、搭載ビジョン）を用いて、5つの標準的な3ボールジャグリングパターン（cascade、tennis、half-shower、shower、box）を学習できることを実証した。各パターンは5分未満の実世界インタラクションで獲得され、学習の収束性と安全性が確認された。具体的な評価指標（成功率など）は要旨からは不明だが、実機での学習成功が主な検証である。

要旨からは、提案手法の限界や課題についての議論は明示されていない。ただし、学習が局所モデルに依存するため、経験が極端に疎な領域では事前モデルの精度に依存する可能性や、相互到達可能集合の計算が複雑になる可能性が考えられるが、要旨には記載がない。また、5つのパターン以外の多様なタスクへの一般性や、より複雑な動的操作への適用可能性については不明。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、sim2real転移学習、モデル予測制御（MPC）、強化学習（RL）、メモリベースの学習、安全なロボット学習に関する論文が挙げられる。具体的には、モデルベース強化学習や、安全制約付き強化学習、ジャグリングのロボット制御に関する研究が関連する。