シミュレーションから獲得する知覚型ヒューマノイド動作

- ヒューマノイドロボットの自律システム「HALO」の提案 - 視覚・言語・動作の対応データをシミュレーションで合成するパイプラインで駆動 - 椅子への着座、指定物体への移動、半開きのドアの横歩き通過、テーブル下でのしゃがみ・這い、箱押しなどの身体技能を獲得 - これらの技能を組み合わせて長期的な複合タスクを遂行 - 実世界の家庭を訓練中に一切見ずに zero-shot で実環境へ転移

- 従来は人間の teleoperation やウェアラブル capture 装置に依存し、1時間のデータ生成に最低1時間の人手を要していた - HALO は人手ではなく計算資源に応じてスケールする点が異なる - 手続き的に生成した約1000軒の家庭環境で vision-language-motion データを合成 - 大規模な paired supervision のデータ不足（data bottleneck）を計算によるデータ合成で緩和する方向性を示す

- 約1000軒の手続き生成された家庭環境をまたいで vision-language-motion データを合成するパイプライン - 画素と自由形式言語を低レベル関節コマンドへ対応付ける paired supervision をシミュレーション内で生成 - 獲得した複数の身体技能をオーケストレーションし、複合的な long-horizon タスクを解く - 個々のモジュール構成や学習アルゴリズムの詳細は要旨からは不明

- 実世界の6つの未マップ環境において360回の試行を実施 - 訓練中に実家庭を一切見ていないにもかかわらず zero-shot 転移を達成 - 成功率91%を報告 - 着座・物体へのナビゲーション・半開きドアの横歩き通過・テーブル下のしゃがみ這い・箱押しなどの技能および複合タスクで評価

- 人手依存のデータ収集に対する計算スケール型の代替を提示 - シミュレーションのみでの学習から実世界への zero-shot 転移可能性を示唆 - 限界・失敗事例・sim-to-real ギャップの詳細な分析は要旨からは不明 - 手続き生成環境の多様性が実世界の多様性をどこまで覆うかの議論は要旨からは不明

- 要旨で直接参照・比較されている研究は明示されていない - 関連手法として human teleoperation やウェアラブル capture 装置によるデータ収集研究 - 同分野の定番として sim-to-real transfer、vision-language-action モデル、手続き的環境生成（procedural generation）に関する研究を挙げる