ViBe: 知覚型ヒューマノイド全身制御のための視覚行動適応

- 人間型ロボットの全身制御のための視覚適応フレームワークViBeを提案。 - 運動追従型のtrackerを知覚制御タスクに適応させるpost-training手法。 - 事前学習済み視覚エンコーダとmulti-query extractorでタスク関連の知覚フィードバックを学習。 - low-rank adaptersでtrackerの入力に接続し、パラメータ効率の良いfine-tuningを実現。 - 4つのタスク（curbs/parkour歩行、Repose Cube、omni-object loco-manipulation、dodgeball）でzero-shot sim-to-real転移を達成。

- 従来のtrackerはexteroceptive feedbackがなく、高レベルプランナに依存。 - 既存の知覚コントローラはgeometry-onlyエンコーダをゼロから学習し、意味情報を犠牲にしていた。 - またteacher-student distillationに依存するのが一般的。 - ViBeは事前学習済み視覚エンコーダを活用し、意味情報を保持しつつ低ランク適応で効率的にfine-tuning。 - 直接ポリシー最適化により、タスク報酬と参照データセットから適応可能。

- 事前学習済み視覚エンコーダとmulti-query extractorモジュールを組み合わせ、タスク関連の知覚特徴を抽出。 - この特徴をlow-rank adaptersを介してtrackerの入力にグラフト。 - パラメータ効率の良いfine-tuningを実現。 - タスク報酬と参照データセットを与え、ポリシー最適化で直接適応。 - モジュラーなコントローラとして設計。

- 4つのタスクで評価：curbsとparkourでの知覚歩行、Repose Cube、omni-object loco-manipulation、dodgeball。 - zero-shot sim-to-real転移を実証。 - 屋外、低照度、RGB distractor条件下で視覚的にロバストな性能を確認。 - さらに、意図的に単純なプランナで目標指向のRepose Cubeタスクを解決し、知覚コントローラの有効性を示した。

- 要旨からは不明。

- 要旨で参照/比較されている研究：motion tracking、teacher-student distillation、geometry-only encoders。 - 関連手法：pre-trained visual encoders、low-rank adapters、policy optimization。 - 同分野の定番：humanoid whole-body control、sim-to-real transfer、perceptive control。