HITCH: 全身ハーネスでヒューマノイドを操作する視覚言語モデルの学習

- HITCH (Harness Interfaces To Command Humanoids) という、VLM が humanoid robot を全身制御するための harness を提案する研究。 - 知覚側: VLM が画像内で指定した任意の点の 3D 位置を返す。 - 実行側: pelvis, torso, hands, walking, gaze へのコマンドを learned tracker により whole-body motion に変換する。 - HITCH を通じて teacher policies が 5 つの base task を解く trajectory で VLM を fine-tune し、humanoid の操作法を学習させる。 - 実機 G1 でも box 運搬と goal への歩行を実現する。

- 要旨からは、比較対象となる具体的な先行研究名は明示されていない。 - 主張されている利点は、信頼できる whole-body interface と、タスクをまたいで転移する身体操作知識の両立。 - 知覚の計測精度とコマンド実行精度の双方が task success を高めることを示した点。 - タスク固有 trajectory なしでも SIMPLE 51%、HumanoidArena 42.5% を達成し、SIMPLE では各タスク 5 trajectory の追加で 95% まで向上。 - 実機 G1 で実 training data なしに box 運搬と歩行を達成。

- Harness 設計: 知覚は VLM が画像内で選んだ点の 3D 位置を返し、実行は pelvis, torso, hands, walking, gaze のコマンドを learned tracker で whole-body motion に変換。 - 知覚計測とコマンド実行の精度向上が success に寄与することを確認。 - Teacher policies が HITCH 経由で 5 つの base task を解く trajectory を収集し、VLM を fine-tune。 - タスク固有 trajectory なしの fine-tune と、少数 trajectory 追加の効果を比較。

- SIMPLE と HumanoidArena の 2 つの benchmark で評価。 - タスク固有 trajectory なしの fine-tuned model が SIMPLE 51%、HumanoidArena 42.5% を達成。 - SIMPLE の各タスクに 5 trajectory を追加すると SIMPLE success が 95% に向上。 - 実機 G1 で、実 training data なしに box を運び goal まで歩行。

- 要旨からは、限界や失敗事例、議論の詳細は不明。 - 示されている範囲では、知覚計測と実行精度の向上が success を高めること、少数のタスク固有 trajectory が大きく効くことが議論の中心。 - 実機 G1 での汎化可能性を一部示すが、実 training data なしでの性能限界は要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、VLM による robot control、whole-body control、learned tracker、teacher policy による trajectory 収集、SIMPLE および HumanoidArena benchmark に関する研究を次に読むべき候補として挙げる。