何が起きたか
研究チームは2024年6月20日、arXivにプレプリント「HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation」を公開した。このフレームワークは、強化学習と全身最適化を組み合わせて38の駆動関節の動作を生成し、動作ライブラリを構築する。大規模言語モデル（LLM）の計画・推論機能を複雑なロコ操作タスクに適用し、階層的なタスクグラフを構築して低レベルの実行と高レベルの計画を橋渡しする。
詳細
HYPERmotionは、多様な環境でロボットが自律的にハイブリッド動作を実行できるようにすることを目的としており、材料運搬、家事、作業支援などの長期的なタスクに有用とされる。従来のヒューマノイド全身制御の研究は、新しいタスクへの汎用性と適応性に課題があったが、HYPERmotionはタスクに基づいて行動を学習・選択・計画する。 具体的には、蒸留された空間幾何学と2次元観測を視覚言語モデル（VLM）と相互作用させ、ロボットの形態セレクタに知識を接地し、単腕・双腕、脚式・車輪式の移動から適切な動作を選択する。実験はシミュレーションと実世界で行われ、学習した動作が新しいタスクに効率的に適応し、非構造化シーンでの自由文コマンドからの高い自律性を示した。詳細はプロジェクトウェブサイト（hy-motion.github.io/）で公開されている。
Key Facts
| HYPERmotionは、強化学習と全身最適化を組み合わせて38の駆動関節の動作を生成するフレームワークである。 | [1] |
| 大規模言語モデル（LLM）の計画・推論機能を複雑なロコ操作タスクに適用し、階層的なタスクグラフを構築する。 | [1] |
| 視覚言語モデル（VLM）と蒸留された空間幾何学および2次元観測を相互作用させ、ロボットの形態セレクタに知識を接地する。 | [1] |
| 単腕・双腕、脚式・車輪式の移動から適切な動作を選択する。 | [1] |
| シミュレーションと実世界の実験で、学習した動作が新しいタスクに効率的に適応することを示した。 | [1] |
| 非構造化シーンでの自由文コマンドから高い自律性を示した。 | [1] |
| プレプリントは2024年6月20日にarXivで公開された。 | [1] |
| プロジェクトのウェブサイトはhy-motion.github.io/である。 | [1] |
なぜ重要か
この研究は、ロボットが長期的なタスクを自律的に実行するためのハイブリッド動作計画の新しいアプローチを提案している。LLMとVLMを統合することで、自由文の指示から複雑な動作を生成できる可能性を示し、ロボットの汎用性と適応性の向上に貢献する。