逆運動学/強化学習2026/11/3arXiv:2611.05372

強化学習によるロボットアームの高精度逆運動学PolicyIK

PolicyIK: High-Precision Inverse Kinematics for Robot Arms with Reinforcement Learning

姿勢フィードバックから関節参照を更新するゴール条件付き強化学習ポリシーで、ミリメートル精度の逆運動学を実現し、古典的IK制御器やVLAポリシーの実行を上回る精度を示した。

詳しい要約

1. どんなもの？

- ロボットアームの高精度なInverse Kinematics (IK) を実現する、goal-conditionedな強化学習ポリシー - 視覚言語行動 (VLA) ポリシーが出力するend-effector pose指令を関節運動へ変換する用途を想定 - 位置制御器への関節位置referenceを、pose feedbackに基づき更新する方式 - シミュレーションと実機の両方で評価された手法

2. 先行研究と比べてどこがすごい？

- 従来のIKは冗長性・特異点により逆写像が困難で、手作業で調整したcontrollerへの依存が大きい - 実機データ収集はコストが高いという課題がある - PolicyIKは強化学習により高精度IKを学習し、実機では同一時間予算下で4種のclassical IK controllerすべてを上回るreaching/holding成功率を達成 - 単一のPPOポリシーで高精度を実現し、deployment protocolにより成功率を向上させた点が特徴

3. 技術・手法の肝は？

- pose feedbackから関節位置referenceを更新するgoal-conditioned RLポリシー - 測定関節に対する累積referenceの相対値を観測し、位置制御器が静止時に必要とするoffsetを保持可能 - 2スケールのpose errorとerror-dependentなaction gainにより、大きな運動を保ちつつmillimeter残差を解消 - progress rewardとdwell rewardにより、許容範囲への到達と範囲内への滞留を学習 - 学習アルゴリズムとしてPPOを使用、実機ではoff-policy RL learnerも使用

4. どうやって有効だと検証した？

- シミュレーションでheld-outタスクの93.5%において、最終1秒の平均誤差が1 mm・0.2°以内に収まることを確認 - deployment protocolにより成功率が98.9%へ向上 - 実機アームでoff-policy RL learnerにより直接学習し、同一時間予算下で4種のclassical IK controllerより高いreaching/holding成功率を達成 - シミュレーションのpick-and-placeで、$π_{0.5}$ VLAポリシーのend-effector指令を95.7%の成功率で実行

5. 議論はある？

- 強化学習がロボットアームの高精度IKを提供できることを示唆 - 実機でのoff-policy RL学習の有効性と、classical IK controllerとの比較結果を報告 - シミュレーションから実機への展開プロトコルの効果を示す一方、その一般性や限界についての詳細は要旨からは不明 - 冗長性・特異点への対処の詳細や計算コスト、他embodimentへの転移性については要旨からは不明

6. 次に読むべき論文は？

- $π_{0.5}$ VLAポリシー（本研究でend-effector指令の実行対象として参照） - PPO（学習アルゴリズムとして使用） - off-policy RL learner（実機学習で使用、具体的名称は要旨からは不明） - classical IK controllers（比較対象として4種が用いられたが個別名称は要旨からは不明） - 関連するVLAポリシーやgoal-conditioned RL、IK手法の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhan Liu, Xinqi Liu, Zixuan Dong, Keith W. Ross, Shenji Wan

分類: cs.RO, cs.LG

原文アブストラクト

Inverse kinematics (IK) converts end-effector pose commands into joint motion, and many vision-language-action (VLA) policies rely on it to act on a given arm and to transfer across embodiments. Precise IK remains laborious: redundancy and singularities complicate the inverse mapping, execution depends on hand-tuned controllers, and training data on physical robots are costly to collect. We present PolicyIK, a goal-conditioned reinforcement learning policy for high-precision IK. It updates joint-position references from pose feedback and observes its accumulated reference relative to the measured joints, so it can retain the offset that the position controller needs at rest. Two-scale pose errors with an error-dependent action gain resolve millimeter residuals while preserving large motions. Progress and dwell rewards teach it to both reach the tolerance and stay within it. In simulation, a single attempt by the trained PPO policy keeps the mean errors over the final second within 1 mm and 0.2° on 93.5% of held-out tasks, and a deployment protocol raises success to 98.9%. When trained directly on a physical arm with an off-policy RL learner, PolicyIK achieves higher reaching and holding success than all four classical IK controllers under the same time budgets. In simulated pick-and-place, PolicyIK executes the end-effector commands of the $π_{0.5}$ VLA policy with 95.7% success. These results show that reinforcement learning can provide high-precision inverse kinematics for robot arms. Code is available at https://github.com/Tinaliu0123/PolicyIK.

arXivで原文を読む →arXiv概要ページ

← 論文一覧