接触誘導探索による多批判的強化学習を用いた非把持移動操作

本論文は、非把持操作（non-prehensile manipulation）を移動操作プラットフォームで行うための、接触誘導探索（contact-guided exploration）戦略を提案する。Multi-Critic Reinforcement Learning (RL) フレームワークを用い、密な接触探索報酬で訓練された専用の探索批評家（exploration critic）がエンドエフェクタを意味のある接触点へ導き、その影響を徐々に減衰させることでタスク最適な方策を獲得する。候補となる接触点は汎用の把持アルゴリズムから得られ、様々な物体形状に一般化できる。ボックス押し、椅子運搬、食洗機開閉などのタスクで評価し、四足移動マニピュレータでの実機実験により実世界での展開可能性を示す。

従来のモデルベース手法とモデルフリー手法は、非把持操作の複雑なハイブリッドダイナミクスと接触のスパース性に苦慮していた。本手法は、接触探索を明示的に報酬設計し、Multi-Critic RL で探索とタスク最適化を分離することで、この課題に対処する点が新しい。また、汎用把持アルゴリズムから接触候補を得ることで、物体形状への一般化を実現している点も優れている。

手法の核は、Multi-Critic RL フレームワークに探索批評家（exploration critic）を導入することである。この批評家は密な接触探索報酬（dense contact-seeking reward）で訓練され、エンドエフェクタを意味のある接触点へ導く。その影響は訓練中に徐々に減衰（progressively decayed）され、最終的にはタスク最適な方策を回復する。接触候補点は汎用の把持アルゴリズム（general-purpose grasping algorithm）から取得され、物体形状に依存しない探索を可能にする。

ボックス押し、椅子運搬、食洗機開閉の複数タスクで評価を行った。さらに、椅子運搬タスクについては四足移動マニピュレータ（quadrupedal mobile manipulator）を用いた実機実験を実施し、実世界での非把持操作の展開可能性を実証した。

要旨からは、提案手法の限界や他の手法との比較に関する議論は明示されていない。ただし、探索批評家の減衰スケジュールや接触候補点の品質が性能に与える影響などが潜在的な議論点と考えられるが、要旨からは不明である。

要旨で参照されている関連研究として、モデルベース手法、モデルフリー手法、Multi-Critic RL、汎用把持アルゴリズムなどが挙げられる。具体的な論文名は不明だが、非把持操作や移動操作に関する既存研究、およびRLベースの操作研究を参照することが推奨される。