NestDex: Nested Policy Learning with Copilot Assisted Teleoperation for Dexterous Manipulation

NestDexは、器用操作（dexterous manipulation）のためのネスト型ポリシー学習フレームワークである。オペレータが腕の動作と単一自由度のクラッチで能動的なハンドスキルを調整することで、完全なタスクデモンストレーションの収集負担を軽減する。内側のハンドポリシーは最新の自己受容感覚履歴から動作を適応させ、視覚言語セレクタがタスク段階に応じたスキルを選択する。収集したデモンストレーションを用いて、展開時には内側ポリシーを使わずに腕と手の両方を制御する外側の視覚運動ポリシーを訓練する。

従来の平行ジョー操作と異なり、器用操作では腕の動きと指の接触豊かな動作をタスク全体にわたって協調させる必要があり、一貫した完全タスクデモンストレーションの収集が困難である。NestDexは、学習済みのハンドスキルをデモ収集の支援に用いることで、オペレータが指の軌道を直接指定する負担を軽減し、デモの信頼性と効率を向上させる点が新しい。

手法の核は、内側のハンドポリシーと外側の視覚運動ポリシーをネストする点である。内側ポリシーは最新の自己受容感覚履歴から適応し、視覚言語セレクタがタスク段階に応じたスキルを選択する。オペレータは腕の制御と単一自由度クラッチでスキルを調整する。また、ハンドアクション用の変分オートエンコーダ（VAE）によりコンパクトなハンドアクションターゲットを提供し、腕のコマンドは関節空間で保持する。

実世界の器用操作実験を通じて、NestDexがデモンストレーションの信頼性と効率を向上させることを検証し、得られたデモから自律ポリシーの学習が効果的に行えることを実証した。具体的な評価指標や比較対象は要旨からは不明。

要旨からは、内側ポリシーと外側ポリシーの役割分担や、視覚言語セレクタの汎用性、VAEの効果などについての議論は明示されていない。また、実験の詳細や限界についても要旨からは不明。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、dexterous manipulationのための学習手法（例：DexPilot、Robotic dexterous manipulation with reinforcement learning）や、teleoperationによるデモ収集手法（例：DAgger、Learning from demonstration）が挙げられる。