日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習/ロバスト制御arXiv:2610.41348

関節健康状態を考慮した強化学習によるアクチュエータ劣化下のロバスト制御

Joint-Health-Aware Reinforcement Learning for Robust Robot Control Under Actuator Degradation

シェア:XThreadsFacebookLINEはてブBluesky

各関節のアクチュエータ劣化を連続的な健康ベクトルとして推定し、劣化を考慮して制御を再配分する強化学習フレームワークを提案。歩行・操作タスクで劣化時にも高い性能を維持。

詳しい要約

1. どんなもの？

- アクチュエータの劣化（actuator-authority degradation）下でのロボット制御を対象とした強化学習フレームワーク - 各関節の残存駆動能力を連続値の joint-health vector として表現し、方策に条件付け - HealthNet と呼ばれる推定器が直近の観測と行動から関節ごとの health を推論 - Walker, Go2, Cassie, Panda ベースの ManiSkill 操作タスクで評価

2. 先行研究と比べてどこがすごい？

- 既存の頑健化手法は離散的な fault label、広範な domain randomization、大域的な latent variable に依存 - 関節ごとの連続的な残存駆動能力を明示的にモデル化していない点が従来との差異 - 本手法は per-joint の health を連続ベクトルで推定し、健康な関節と劣化関節の間で制御努力を再配分可能 - nominal baseline 比で locomotion return 最大 +250.1%、manipulation 成功率最大 +15.2 ポイント、高劣化 Cassie 群で return 3.94→40.50（+928.0%）

3. 技術・手法の肝は？

- actuator condition を連続的な joint-health vector にエンコード - 劣化を実行行動への乗法的減衰（multiplicative attenuation）としてモデル化 - HealthNet estimator が recent observations と actions から per-joint health を推論 - health-conditioned control により方策が関節間で制御努力を再配分 - ablation で per-joint health estimation、action-degradation modeling、health-conditioned control の寄与を支持

4. どうやって有効だと検証した？

- Walker, Go2, Cassie, Panda ベースの ManiSkill 操作タスクで評価 - 多様な degradation masks と severity levels の下で検証 - nominal および degradation-trained no-health baselines と比較し主要指標で上回る - 高劣化 Cassie 群で return が 3.94 から 40.50 へ増加（+928.0%） - ablation により各構成要素の寄与を確認

5. 議論はある？

- 評価は simulated actuator degradation 下であり、実機での検証は要旨からは不明 - degradation を乗法的減衰としてモデル化しており、他の劣化形態への一般性は要旨からは不明 - HealthNet の推定精度や観測ノイズへの頑健性に関する詳細は要旨からは不明 - 計算コストやリアルタイム性への言及は要旨からは不明

6. 次に読むべき論文は？

- domain randomization を用いた頑健強化学習の代表的手法（例: OpenAI の dynamics randomization 研究） - latent variable を用いた context/adaptation 手法（例: RL^2, PEARL などの meta-RL） - fault-tolerant control や fault diagnosis に関するロボティクス研究 - actuator degradation / fault injection を扱うベンチマーク研究 - ManiSkill や Cassie を用いた頑健 loco-manipulation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haifa Zhang, Yijing Wang, Zhiqiang Zuo

分類: cs.RO, cs.CV

原文アブストラクト

Robots deployed in unstructured environments are susceptible to actuator-authority degradation, which reduces the effective control authority of individual actuators and can cause reinforcement learning policies trained under nominal dynamics to fail. Existing robustness approaches rely on discrete fault labels, broad domain randomization, or global latent variables, often without explicitly modeling continuous per-joint residual actuation capability. We propose a joint-health-aware reinforcement learning framework for robust robot control under simulated actuator degradation. Our framework encodes actuator condition in a continuous joint-health vector and models degradation as multiplicative attenuation of executed actions. A dedicated HealthNet estimator infers per-joint health from recent observations and actions, allowing the policy to redistribute control effort across healthy and degraded joints. We evaluate the method on Walker, Go2, Cassie, and Panda-based ManiSkill manipulation tasks under diverse degradation masks and severity levels. The method outperforms nominal and degradation-trained no-health baselines on the main evaluated metrics. Relative to the nominal baseline, task-level locomotion returns improve by up to 250.1\% and manipulation success rates by up to 15.2 percentage points; in the high-degradation Cassie group, return increases from 3.94 to 40.50 (+928.0\%). Ablations support the contribution of per-joint health estimation, action-degradation modeling, and health-conditioned control.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI