マニピュレーション2026/9/18arXiv:2609.21609

接触の多いマニピュレーションにおける強化学習のためのポテンシャル場行動表現

Potential-Field Action Representation for Reinforcement Learning in Contact-Rich Manipulation

人工ポテンシャル場のパラメータを強化学習で調整し、接触の多いペグ挿入タスクを安定かつ高成功率で実行する手法を提案。

詳しい要約

1. どんなもの？

- 接触を伴うロボットマニピュレーション向けの強化学習フレームワーク PA-RL を提案。 - 行動表現として人工ポテンシャル場 (artificial potential field) を用いる。 - 方策は直接運動を指令せず、エネルギー的なポテンシャル場のパラメータを適応させる。 - ポテンシャル場が状態依存の誘導方向を生成し、Cartesian impedance controller で実行する。 - peg-in-hole insertion を代表タスクとして評価。

2. 先行研究と比べてどこがすごい？

- 従来の直接的な Cartesian command interface は各決定ステップで運動生成が必要で、タスク戦略と低レベル制御が結合し学習負担が大きい。 - 既存の Cartesian velocity、Cartesian pose、variable-impedance action spaces と同一 RL アルゴリズムで比較。 - PA-RL のみが所定訓練時間内に 100% の評価成功率を達成。 - 最良ベースラインは 92.6% にとどまる。 - 報酬に明示的な運動品質ペナルティなしで、関節トルク変動を 55.4%、Cartesian 加速度変動を 70.8% 低減。

3. 技術・手法の肝は？

- 行動表現に人工ポテンシャル場を採用。 - 方策はポテンシャル場のパラメータを適応させる。 - ポテンシャル場が状態依存の guidance direction を生成。 - 生成された方向を Cartesian impedance controller で実行。 - これによりタスク戦略と低レベル運動生成の結合を緩和。

4. どうやって有効だと検証した？

- シミュレーションで peg-in-hole insertion を実施。 - 同一 RL アルゴリズムで Cartesian velocity、Cartesian pose、variable-impedance action spaces と比較。 - PA-RL が訓練時間内に 100% 成功率、最良ベースラインは 92.6%。 - 関節トルク変動 55.4% 減、Cartesian 加速度変動 70.8% 減を確認。 - シミュレーション訓練方策が実機で 9/9 の挿入を fine-tuning なしで完了。

5. 議論はある？

- 報酬に運動品質ペナルティを明示せずに運動の滑らかさが改善。 - 実機展開可能性を示すが、他の接触リッチタスクへの一般化は要旨からは不明。 - シミュレーションと実機のギャップやロバスト性の詳細は要旨からは不明。 - 計算コストやスケーラビリティの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で比較されている Cartesian velocity、Cartesian pose、variable-impedance action spaces に関する研究。 - 同分野の定番として model-free reinforcement learning、Cartesian impedance control、artificial potential field を用いたロボットマニピュレーションの関連論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Liu, Gökhan Solak, Arash Ajoudani

分類: cs.RO, cs.AI

原文アブストラクト

Model-free reinforcement learning can acquire contact-rich robotic manipulation skills through trial-and-error interaction, but it often requires the policy to learn both task strategy and low-level motion generation. In this setting, the action representation is critical because it determines how policy outputs are converted into robot motion, shaping both exploration and physical execution. Direct Cartesian command interfaces require the policy to generate motion at every decision step, coupling task-level adaptation with continuous low-level control and increasing the learning burden. We propose PA-RL, a reinforcement-learning framework that uses artificial potential fields as the action representation. Instead of commanding motion directly, the policy adapts the parameters of an energy-like potential field, which generates a state-dependent guidance direction executed through a Cartesian impedance controller. We evaluate PA-RL on peg-in-hole insertion, a representative contact-rich task with nonlinear dynamics and discontinuous contact transitions. In simulation, PA-RL is compared with Cartesian velocity, Cartesian pose, and variable-impedance action spaces using the same RL algorithm. PA-RL is the only method to reach a 100% evaluation success rate within the allotted training time, while the best baseline reaches 92.6%. It also reduces joint-torque variation by 55.4% and Cartesian acceleration variation by 70.8% relative to the best baseline, without explicit motion-quality penalties in the reward. The simulation-trained policy further completes 9/9 real-robot insertions without fine-tuning, demonstrating the deployment feasibility of the learned potential-field interface.

arXivで原文を読む →arXiv概要ページ