Unitree G1、複数報酬設計で到達率65.2% 論文が批判的構成の影響を検証

何が起きたか

arxiv.orgに2026年6月10日付で掲載された論文『Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation』が、Unitree G1（23の能動自由度、うち17がポリシー制御）を用いた実験で、複数の報酬を分離した批判的構成（デュアル）が統合型（ユニファイド）より高い到達率を示したと報告した。

詳細

論文は、NVIDIA Isaac Lab環境で、据え置きから可変方向ターゲットへの歩行までの逐次カリキュラムを用いて訓練した。同一計算予算の下で、デュアル批判はユニファイド批判より3.5倍速くターゲットに到達（6.5対22.6シミュレーションステップ）、1,000ステップあたりの検証到達数は2倍（14.3対7.0）、検証到達率は65.2%対53.8%だった。デュアル批判に5つのアンチゲーミング報酬機構を追加しても改善は見られなかった（60.9%対65.2%）。論文は、この差を批判的構成の単独効果ではなく、訓練された2つのポリシー間の効率ギャップとして報告しており、カリキュラムスケジュールやアーム行動次元などの違いも指摘している。

Key Facts

本紙の見方

今回の論文は、ヒューマノイドの移動と操作を単一ポリシーで統合する強化学習において、批判的構成（critic architecture）が性能に与える影響を実機に近いシミュレーションで比較した点で新規性がある。Unitree G1という市販ヒューマノイドを対象に、デュアル批判とユニファイド批判を同一計算予算で比較し、デュアル批判が到達率で約11ポイント上回った。ただし、論文自身が認めるように、この差は批判的構成の単独効果ではなく、カリキュラムスケジュールやアーム行動次元などの交絡要因を含む。そのため、因果関係を確定するには単一変数のアブレーションが必要であり、現時点では「批判的構成が重要である可能性」を示唆するに留まる。 本紙の関連記事（2026年6月11日付）では、Unitreeの動向が中国ロボット産業の厳しい現実を予見させるとのReutersの分析を報じた。今回の論文は、Unitree G1が研究プラットフォームとして広く使われていることを示す一方で、その性能がアルゴリズム設計に大きく依存することを浮き彫りにした。これは、ハードウェアの進歩だけでなく、ソフトウェアスタックの洗練がヒューマノイド実用化の鍵となることを示唆しており、中国ロボット産業が直面する「厳しい現実」の一端を裏付けるものとみられる。 業界構造への含意として、強化学習の設計変数（批判的構成）が性能に与える影響が明らかになれば、ヒューマノイドの学習効率向上につながり、開発コストの削減や実用化の加速に寄与する可能性がある。一方で、今回の結果は単一シードに基づくものであり、再現性や一般性の検証が今後の焦点になる。また、論文が指摘するように、模倣学習済みポリシーのRLファインチューニングにおいて、ユニファイド批判が競合する勾配で事前学習済みの腕の動作を抑制する可能性は、実用上の重要な論点である。 未確定の論点としては、批判的構成の因果効果を分離するアブレーション実験の結果、異なるシードや環境での再現性、実機での検証が挙げられる。

なぜ重要か

ヒューマノイドロボットの実用化には、移動と操作の統合制御が不可欠であり、その学習効率を左右する設計変数の理解は業界全体の進歩に直結する。今回の論文は、批判的構成という比較的軽視されがちな要素が性能に影響し得ることを示し、今後の研究開発の方向性に一石を投じるものだ。