強化学習/ヒューマノイド2026/8/17arXiv:2608.16195v1

RoboStriker: 自律型ヒューマノイドボクシングのための潜在空間戦略ゲーム

RoboStriker: Latent-Space Strategic Games for Autonomous Humanoid Boxing

ヒューマノイドボクシングを2プレイヤーの潜在空間ゼロサムマルコフゲームとして定式化し、戦略的探索と物理的実現性の矛盾を解決する階層的フレームワークを提案した。

詳しい要約

1. どんなもの？

RoboStrikerは、人間型ロボットによるボクシングという接触を伴う動的タスクを、2プレイヤーの潜在空間ゼロサムMarkovゲームとして定式化し、高次元の生の動作空間での探索を避けつつ戦略的競技を実現する階層的フレームワークである。事前定義されたボクシング動作の追従知識を位相的に有界な潜在多様体に蒸留し、その上でLatent-Space Neural Fictitious Self-Playを用いてマルチエージェントの共進化を駆動する。理論的には、標準的な正則性と近似最良応答の仮定の下で、潜在定式化がデコーダ到達可能な動作多様体上の等価なゲームを誘導し、近似Nash均衡の解釈を与える。実世界のヒューマノイドロボットへの展開も行っている。

2. 先行研究と比べてどこがすごい？

従来のMulti-Agent Reinforcement Learningを生の動作空間に直接適用すると、関節レベルの物理的崩壊が生じ、戦術が出現しないという問題があった。RoboStrikerは、戦略的探索と物理的実現可能性の根本的な矛盾を解決するために、潜在空間でのゲームを導入した点が新しい。事前学習された動作デコーダで戦略的探索を制約することで、生の動作空間法で見られる壊滅的なバランス失敗を大幅に削減し、競争勝率と打撃効率の両方で優れた戦術的性能を達成した。

3. 技術・手法の肝は？

手法の核は、高レベルの推論と低レベルの実行を分離する階層的フレームワークである。まず、事前定義されたボクシング動作の追従専門知識を、位相的に有界な潜在多様体に蒸留する。この構造化された潜在基盤が、Latent-Space Neural Fictitious Self-Playによるマルチエージェント共進化を駆動する。理論的には、潜在定式化がデコーダ到達可能な動作多様体上の等価なゲームを誘導し、近似Nash均衡の解釈を提供する。

4. どうやって有効だと検証した？

広範な実験により、構造化された潜在空間内でのゲームが直接探索を大幅に上回ることを実証した。具体的には、生の動作空間法と比較して、バランス失敗の大幅な削減、競争勝率と打撃効率の向上を確認した。さらに、学習した戦闘ポリシーを実世界のヒューマノイドロボットに展開し、有効性を検証した。

5. 議論はある？

要旨からは、潜在空間の設計や蒸留の詳細、理論的仮定の妥当性、実世界展開における具体的な課題などについての議論は不明である。また、提案手法が他の接触を伴うタスクや異なるロボットプラットフォームにどの程度一般化できるかについても言及がない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Multi-Agent Reinforcement Learning、Neural Fictitious Self-Play、ゼロサムMarkovゲーム、潜在空間モデル、模倣学習（動作の蒸留）などが挙げられる。具体的には、Neural Fictitious Self-Playの原論文や、潜在空間での強化学習に関する研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kangning Yin, Kaige Liu, Zhe Cao, Wentao Dong, Weishuai Zeng, Tianyi Zhang, Qiang Zhang, Jingbo Wang, Jiangmiao Pang, Yang Li, Ming Zhou, Weinan Zhang

分類: cs.RO

原文アブストラクト

Achieving human-level competitive intelligence and physical agility in humanoid robots remains a profound challenge, particularly in contact-rich and highly dynamic tasks such as boxing. While Multi-Agent Reinforcement Learning offers a principled framework for strategic interaction, its direct application to unstructured raw motor spaces inevitably leads to joint-level physical collapse, preventing the emergence of any viable combat tactics. To resolve this fundamental conflict between strategic exploration and physical feasibility, we formulate the humanoid combat task as a novel two-player latent-space zero-sum Markov game. Under standard regularity and approximate best-response assumptions, we show that the latent formulation induces an equivalent game over the decoder-reachable action manifold, providing an approximate-Nash interpretation of the resulting self-play dynamics. To instantiate this theoretical formulation, we propose RoboStriker, a hierarchical framework that decouples high-level reasoning from low-level execution. It first distills the tracking expertise of predefined boxing motions into a topologically bounded latent manifold. This structured latent foundation subsequently drives multi-agent co-evolution via Latent-Space Neural Fictitious Self-Play. Extensive experimental results demonstrate that gaming within this structured latent space substantially outperforms direct exploration. By constraining strategic exploration through a pretrained motion decoder, RoboStriker substantially reduces the catastrophic balance failures observed in raw action-space methods and achieves superior tactical performance in both competitive win rates and striking efficiency. Finally, we successfully deploy and validate our learned combat policies on real-world humanoid robots. Our code and video and supplementary materials are available at RoboStriker.

arXivで原文を読む →arXiv概要ページ

← 論文一覧