CrossBFM: ヒューマノイド間で共有される潜在行動空間の蒸留

ヒューマノイドの Behavior Foundation Model (BFM) を、複数の機体間で共有できる潜在行動空間として蒸留する手法 CrossBFM を提案する。従来の Forward-Backward 表現は 1 機体あたり数百 GPU 時間を要し、機体ごとに無関係な潜在空間が生成されていた。CrossBFM は retargeting によるフレーム単位の対応を利用し、機体固有パラメータを持たない統一 encoder で複数機体を同時に蒸留し、1 GPU 時間未満で学習する。その後 latent-conditioned tracker を PPO で 10 GPU 時間追加学習し、全身制御を実現する。

従来の Forward-Backward 表現は 1 機体で数百 GPU 時間を要し、2 機体目を学習すると第 1 の空間と無関係な第 2 の空間が生成され、機体固有の latent となり統一・転移できなかった。CrossBFM は潜在空間を機体間で転移可能な資産として扱い、機体固有パラメータなしの統一 encoder で複数機体を同時に 1 GPU 時間未満で蒸留する。さらに latent-conditioned tracker を 10 GPU 時間で学習し、3 機体すべてで 3 つの prompting モードが転移することを示した。

retargeting がフレーム単位の機体間対応を与えることを利用し、機体固有パラメータを持たない統一 encoder アーキテクチャで行動空間を蒸留する。この encoder により複数の学習機体を同時に 1 GPU 時間未満で処理する。続いて latent-conditioned tracker が蒸留された latent を従来の PPO 学習で全身制御に変換し、追加 10 GPU 時間で完了する。

3 機体の蒸留ヒューマノイドで、motion tracking は latent-conditioned policy が joint-conditioned 版に比べ 0.025 rad の損失で済み、pose 間の smooth goal reaching は転倒なし、41 の reward prompt すべてで reward optimization が成功した。追加実験で、encoder を motion corpus の 1/4 で回帰すると tracking 性能の 5% のみ低下し、一部機体で encoder を学習し未見機体で評価すると既見機体の tracking 性能の最大 89% を回復した。実機でも 3 つの prompting モードと flow-based 生成 latent でパイプラインを検証した。

実験から、encoder を motion corpus の 1/4 で回帰すると tracking 性能の 5% のみ低下すること、一部機体で encoder を学習し未見機体で評価すると既見機体の tracking 性能の最大 89% を回復することが明らかになり、形態的に類似した機体への cross-embodiment 汎化を示す。ただし、形態的に類似した機体への汎化に留まる点や、実機検証の詳細な限界については要旨からは不明。

Forward-Backward representations、PPO、retargeting、flow-based 生成 latent が参照・比較されている。関連手法として Behavior Foundation Models (BFMs)、latent-conditioned policy、joint-conditioned policy が挙げられる。