日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2611.19318

残差強化学習による視覚サーボ制御とゼロショットsim-to-real転移

Residual Reinforcement Learning for Visual Servo Control with Zero-Shot Sim-to-Real Transfer

シェア:XThreadsFacebookLINEはてブBluesky

不正確なデジタルツイン上で残差方策を強化学習し、遅延補償カルマンフィルタと組み合わせることで、コンベア上の移動物体追従誤差をベースラインの1.1-1.4mmから0.3-0.7mmへ低減し、ゼロショットで実機転移を実現した。

詳しい要約

1. どんなもの?

- コンベア上を移動する物体を Franka Emika Panda ロボットアームで追従する視覚サーボ制御の研究。 - 不正確な digital twin、計測誤差、ノイズが存在する状況を対象とする。 - loop-shaped inverse-Jacobian PI controller に、Soft Actor-Critic で学習した residual policy を付加する。 - delay-compensated Kalman filter で out-of-sequence なカメラ計測を融合し、遅延を考慮した移動目標位置推定を行う。

2. 先行研究と比べてどこがすごい?

- 従来の model-based controller(inverse-Jacobian PI)に対し、residual policy を組み合わせる点が新規。 - 周波数領域の sensitivity analysis から導かれる性能限界(performance bound)と比較して評価している点が特徴。 - 限られた忠実度の simulator で学習しながら zero-shot sim-to-real transfer を実現。 - 平均追従誤差を baseline の 1.1-1.4 mm から 0.3-0.7 mm へ低減。

3. 技術・手法の肝は?

- loop-shaped inverse-Jacobian PI controller をベースに、residual policy を Soft Actor-Critic で digital twin 内で学習。 - delay-compensated Kalman filter により out-of-sequence なカメラ計測を融合し、latency-aware な目標位置推定を実現。 - 周波数領域の sensitivity analysis に基づく model-based controller 群の性能限界を導出し、比較指標とする。 - 学習した residual correction を実機へ zero-shot transfer。

4. どうやって有効だと検証した?

- Simulation と hardware experiments の両方で検証。 - コンベア速度 27.9-41.8 mm/s の範囲で評価。 - baseline の inverse-Jacobian PI と比較し、平均追従誤差が 1.1-1.4 mm から 0.3-0.7 mm に低減。 - residual policy が sensitivity analysis 由来の performance bound を下回る追従誤差を達成したと報告。

5. 議論はある?

- 限られた忠実度の simulator での residual learning と delay compensation の組み合わせが、modeling/measurement uncertainty 下の model-based control を大幅に改善し得ると主張。 - 信頼性の高い sim-to-real transfer を維持できることを示唆。 - 具体的な限界や失敗事例、一般化可能性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている inverse-Jacobian PI controller、Soft Actor-Critic、delay-compensated Kalman filter、frequency-domain sensitivity analysis の関連研究。 - 同分野の定番として sim-to-real transfer や residual reinforcement learning に関する研究。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mahdi Nobar, Alisa Rupenyan, John Lygeros, Jürg Keller

分類: cs.RO, eess.SY

原文アブストラクト

We address tracking a moving object on a conveyor with a Franka Emika Panda robot arm, despite an imprecise digital twin, measurement errors, and noise. Our novel approach augments a loop-shaped inverse-Jacobian PI controller with a residual policy learned via Soft Actor-Critic in the digital twin. A delay-compensated Kalman filter fuses out-of-sequence camera measurements to provide latency-aware moving target position estimates. We compare the achieved performance to a performance bound for a class of model-based controllers derived from a frequency-domain sensitivity analysis, quantifying the minimum achievable error imposed by uncertain kinematic model mismatch. Simulation and hardware experiments indicate that our residual policy drives tracking error below the bound. Across conveyor speeds (27.9-41.8 mm/s), our method reduces mean tracking errors from 1.1-1.4 mm (baseline inverse-Jacobian PI) to 0.3-0.7 mm. These results show that learning residual corrections in a limited-fidelity simulator, combined with delay compensation, can substantially improve model-based control under modeling and measurement uncertainties while maintaining reliable sim-to-real transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI