何が起きたか
arXiv掲載論文「HITCH: Teaching a Vision-Language Model to Operate a Humanoid through a Whole-Body Harness」は、VLMにヒューマノイドを操作させるためのハーネスと学習方法を報告した。VLMが画像内で選んだ点の3D位置を知覚し、骨盤、胴体、手、歩行、視線への指令を学習済みトラッカーで全身動作に変換する。
詳細
研究チームは、教師ポリシーがHITCHを通じて5つの基礎タスクを実行する軌跡でVLMをファインチューニングした。タスク固有の軌跡を追加しない条件では、モデルはSIMPLEのエピソードの51%、HumanoidArenaのエピソードの42.5%を完了した。SIMPLEの各タスクに5軌跡を追加すると、SIMPLEの成功率は95%となった。 論文は、シーンの計測と指令の実行を正確にすることが、いずれもタスク成功率を高めると報告した。実機のG1では、実ロボットの訓練データを使わずに箱を運び、目標地点まで歩く動作を示した。
Key Facts
| HITCHは、VLMが画像内で選んだ点の3D位置を返す知覚機能と、身体部位や歩行などへの指令を全身動作に変換する実行機能を備える。 | [1] |
| 実行指令の対象は骨盤、胴体、手、歩行、視線で、動作変換には学習済みトラッカーを使う。 | [1] |
| 教師ポリシーがHITCHを通じて5つの基礎タスクを解く軌跡で、VLMをファインチューニングした。 | [1] |
| タスク固有の軌跡を追加しない条件での成功率は、SIMPLEが51%、HumanoidArenaが42.5%だった。 | [1] |
| SIMPLEの各タスクに5軌跡を加えると成功率は95%となり、実機G1で箱を運び目標地点まで歩いた。 | [1] |
本紙の見方
HITCHの特徴は、VLMの判断をロボットの身体動作へつなぐ部分を、知覚と実行の二段に分けて扱った点にある。画像から選択点の3D位置を得る機能と、身体各部への指令を学習済みトラッカーで全身動作にする機能を設けた。論文は、シーン計測と指令実行の精度向上がどちらもタスク成功率を押し上げると報告しており、言語・視覚モデルの性能だけでなく、モデルの出力をロボットが実行可能な動きに変換する接続部も成否に関わる構成と読める。 数値は、タスク間での汎化と、少量の追加データによる適応を分けて見る必要がある。タスク固有の軌跡を加えない条件ではSIMPLEで51%、HumanoidArenaで42.5%だった一方、SIMPLEの各タスクに5軌跡を加えると95%に達した。したがって、結果は「追加データなしで高い成功率を得た」ことを示すものではなく、追加軌跡の有無で性能が変わることを示す。データ量を少数に抑えた条件での改善は、ロボット操作を学習させる際に、タスク別の実演をどう用意し、共通の身体操作能力とどう組み合わせるかが評価点になることを示唆する。 実機G1での箱運搬は、実ロボットの訓練データなしでも実機動作を示した点で、ベンチマーク結果とは別の意味を持つ。ただし、抄録の記述から確認できる実機タスクは箱を運んで目標地点まで歩く例であり、幅広い物体や環境への適用を裏づけるものではない。また、SIMPLEとHumanoidArenaの成功率だけでは、タスクの難度、試行数、失敗の内訳を比較できない。今後確認すべきなのは、各ベンチマークの評価条件と試行数、実機での反復性、操作対象や環境が変わった場合の性能、そして全身動作の安全性である。これらが示されて初めて、ハーネスが実験上の操作手法にとどまるのか、異なるタスクや機体に展開できる制御の枠組みなのかを判断できる。
なぜ重要か
VLMの指示を全身動作へ変換する仕組みと、タスク別の軌跡を追加した場合の成功率を同じ研究で扱った点が重要だ。論文ではSIMPLEの各タスクに5軌跡を加えた条件で成功率が95%となった一方、実機で示したのはG1による箱の運搬と目標地点への歩行であり、適用範囲はこの結果からは限定的に捉える必要がある。