ロボット操作2026/9/1arXiv:2609.00771v1

非把持スローイング：強化学習の視点から

Non-Prehensile Throwing: A Reinforcement Learning Perspective

ロボットによる物体投げ動作を強化学習で実現し、滑りや転がりを活用して把持不要の投げを可能にした。シミュレーションで99%の成功率を達成し、実機への適用も考慮している。

詳しい要約

1. どんなもの？

本論文は、ロボットによる非把持（non-prehensile）投擲を強化学習（Reinforcement Learning）で実現する手法を提案している。従来のモデルベース最適化に依存せず、滑りや転がりなどの接触モードを活用し、関節空間の軌道を直接最適化する。MDPとして問題を定式化し、低制御レートで計画した関節-jerk軌道をアップサンプリングして高レートの速度指令に変換する。シミュレーションから実機への転移（sim-to-real）を考慮し、システム同定と不確実性を考慮したポリシー学習を行う。

2. 先行研究と比べてどこがすごい？

既存研究は、動的把握（dynamic grasping）などの単純化された接触モデルを用いたモデルベース最適化や、低次元の軌道パラメータ化に依存しており、解の質や到達可能な作業空間が限られていた。本手法は、滑りや転がりといった接触モードを明示的に活用し、解析的な接触モデルやカスタムパラメータ化を必要とせず、関節空間の軌道を直接最適化する点で優れている。また、sim-to-real転移のために、ロボットダイナミクスのギャップを最小化するシステム同定と、物体モデルの誤差（特に動摩擦への感度）を軽減する不確実性を考慮したポリシーを導入している点が新しい。

3. 技術・手法の肝は？

手法の核は、投擲タスクをMDPとして定式化し、ロボットの関節状態を投擲ターゲット、物体モデル、初期配置に条件付けて発展させる動的システムを構築すること。関節-jerk軌道をオフラインで低制御レートで計画し、それを滑らかな高レート速度指令にアップサンプリングする。sim-to-real転移には、最小-jerkシステム同定によりロボットダイナミクスのギャップを最小化し、物体モデルの誤差（特に動摩擦への感度）を軽減するため不確実性を考慮したポリシーを学習する。

4. どうやって有効だと検証した？

シミュレーションでは、数千の構成に対して99%の成功率を達成し、未見の物体にも一般化することを示した。感度分析により、質量の不確実性にはロバストだが、動摩擦には高感度であることを確認（滑りベースの解放機構と整合）。実機では、UR5eを物理限界近く（エンドエフェクタ速度5 m/s）で動作させ、重い（790 g）・大きい（20x20x28 cm）物体を含む多様な物体を、最大350 cmの距離または180 cmの高さのターゲットに投擲し、97%の実世界成功率を達成した。

5. 議論はある？

議論として、動摩擦への高感度が明らかになっており、これは滑りベースの解放機構に起因する。実世界での成功は高いが、物体の動摩擦係数の正確な推定が重要であることが示唆される。また、システム同定と不確実性を考慮したポリシーがsim-to-real転移に有効である一方、物理限界近くでの動作は安全性や耐久性の懸念があるかもしれない。要旨からは、他の接触モードや物体形状への拡張、より複雑な環境での検証などは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、モデルベース最適化による動的把握（dynamic grasping）や低次元軌道パラメータ化を用いた既存の投擲手法が挙げられる。また、強化学習によるロボット操作全般、sim-to-real転移の手法（domain randomizationなど）、非把持操作（non-prehensile manipulation）に関する研究が関連する。具体的な論文名は要旨に明記されていないため、同分野の定番として、非把持操作や投擲のサーベイ、強化学習のsim-to-real転移に関する論文を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdullah Mustafa, Ryo Hanai, Ixchel G. Ramirez-Alpizar, Floris Erich, Ryoichi Nakajo, Yukiyasu Domae, Tetsuya Ogata

分類: cs.RO

原文アブストラクト

Robotic throwing enables fast object transport and extends a robot's reachable workspace beyond traditional pick-and-place. While prehensile (grasp-based) throwing works well for graspable items, non-prehensile (grasp-free) throwing is better suited for large, heavy, and/or deformable objects. Existing approaches rely on model-based optimization with simplified contact models (e.g., dynamic grasping) and low-dimensional trajectory parameterizations, which limit solution quality and reachable workspace. We propose a reinforcement learning approach that additionally leverages sliding and rolling contact modes and directly optimizes joint-space trajectories without analytical contact models or custom parameterizations. The Markov Decision Process (MDP) is formulated as a dynamical system that evolves the robot's joint state conditioned on the throwing target, object model, and initial configuration. Joint-jerk trajectories are planned offline at a low control rate and upsampled into smooth, high-rate velocity commands for deployment. For sim-to-real transfer, we minimize the robot-dynamics gap through minimum-jerk system identification and train uncertainty-aware policies to mitigate object-modeling errors, particularly sensitivity to dynamic friction. In simulation, the policy achieves 99% success across thousands of configurations and generalizes to unseen objects. Sensitivity analysis shows robustness to mass uncertainty but high sensitivity to dynamic friction, consistent with the sliding-based release mechanism. Deployed zero-shot on a UR5e operating near its physical limits (5 m/s end-effector velocity), our method throws diverse objects including heavy (790 g) and large (20x20x28 cm) items to targets up to 350 cm distance or 180 cm elevation, achieving a 97% real-world success rate.

arXivで原文を読む →arXiv概要ページ