日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
歩行arXiv:2611.06523

ヒューマノイド制御のための階層型異種マルチエージェント強化学習

H^2MARL: Hierarchical Heterogeneous Multi-agent Reinforcement Learning for Humanoid Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

関節自由度ごとの物理的異質性を考慮した方策分解と、高レベル計画と低レベル実行を閉ループで共最適化する階層型マルチエージェント強化学習を提案し、ヒューマノイドの全身制御を改善した。

詳しい要約

1. どんなもの？

- 人形ロボットの全身協調制御のための階層型異種マルチエージェント強化学習フレームワーク H^2MARL を提案する研究。 - 高次元で結合した dynamics と関節自由度 (JDoF) 間の物理的異質性が課題であることを出発点とする。 - 高レベル pose planner と低レベル joint executor からなる階層構造を採る。

2. 先行研究と比べてどこがすごい？

- 既存の multi-agent reinforcement learning は粗い agent 分割か汎用の異種エージェントアルゴリズムを直接用いていた。 - 既存の階層型制御は高レベル計画と低レベル実行を独立に最適化し、動作の不整合を招いていた。 - 本手法は JDoF レベルの物理異質性を考慮した policy factorization と、計画・実行の閉ループ同時最適化でこれらを改善する。

3. 技術・手法の肝は？

- JDoF レベルの物理異質性を意識した policy factorization を定式化し、各 torque-actuated JDoF を actuation・kinematic・dynamic 特性の明示的 descriptor で条件付ける。 - closed-loop policy-executor co-optimization 機構を開発し、共有 interaction trajectories を用いて高レベル pose planner と低レベル joint executor を同時適応させる。 - これにより planning と execution 間の distribution mismatch を低減する。

4. どうやって有効だと検証した？

- MuJoCo と Isaac Gym での広範な実験を実施。 - locomotion stability、gait coordination、motion quality の指標で評価。 - homogeneous、coarse-grained、独立最適化の代替手法に対し一貫した改善を示した。

5. 議論はある？

- 要旨からは不明（具体的な限界や失敗ケース、計算コスト、実機適用性に関する議論は記述されていない）。

6. 次に読むべき論文は？

- 比較対象として示唆される homogeneous な multi-agent reinforcement learning、coarse-grained な agent 分割手法、高レベル計画と低レベル実行を独立最適化する階層型制御の関連研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuemin Hu, Kaixin Li, Qingqing Xia, Yuxin Wang, Wei Xie, Bo Tang, Long Chen

分類: cs.RO

原文アブストラクト

Coordinated whole-body control of humanoid robots remains challenging due to high-dimensional coupled dynamics and substantial physical heterogeneity across joint degrees of freedom (JDoFs). Existing multi-agent reinforcement learning methods either employ coarse agent partitions or directly apply generic heterogeneous-agent algorithms, while hierarchical controllers commonly optimize high-level planning and low-level execution independently, leading to uncoordinated motion. In this paper, we propose H^2MARL, a hierarchical heterogeneous multi-agent reinforcement learning framework with two key mechanisms. We first formulate humanoid whole-body control using a JDoF-level physical-heterogeneity-aware policy factorization, where each torque-actuated JDoF is conditioned on an explicit descriptor of its actuation, kinematic, and dynamic properties. Moreover, we develop a closed-loop policy-executor co-optimization mechanism that jointly adapts the high-level pose planner and the low-level joint executor using shared interaction trajectories, thereby reducing the distribution mismatch between planning and execution. Extensive experiments in MuJoCo and Isaac Gym demonstrate that H^2MARL consistently improves locomotion stability, gait coordination, and motion quality over homogeneous, coarse-grained, and independently optimized alternatives.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI