VioLA: 人間のデータから汎用人型制御ポリシーを学習

ヒューマノイドロボットが全身で指示に従うための汎用制御ポリシー VioLA を提案する研究。 - 従来の関節コマンド予測ではなく、身体と手の motion latent を予測する。 - 事前学習済み body/hand controller が latent を実機で実行する。 - motion encoder が人間とロボットの動きを同一 latent 空間に写像する。 - これにより人間の記録がポリシーの行動空間でラベル付けされる。 - 学習デモプールは 1億4,060万フレーム、うち 93.2% が人間データ。

従来のヒューマノイド汎用ポリシーは新規指示にそのまま従えず、タスクごとの teleoperated demonstration で fine-tuning が必要だった。 - 人間のデモは大量にあるが、人間の動きはそのままロボットコマンドにならないという課題があった。 - VioLA は行動空間の再定義により、タスク固有 fine-tuning なしで locomotion 指示に zero-shot で従う。 - 実機 locomotion で 100% 成功、GR00T N1.7 は 16.7%、Ψ_0 は 0%。 - manipulation も fine-tuning なしで 88.6% 成功。

ポリシーが予測する対象を関節コマンドから body/hand motion latent に変更する点が肝。 - 事前学習済み body- and hand-controller が latent を実機で実行する。 - 対応する motion encoder が人間とロボットの動きを同じ latent 空間へ写像する。 - その結果、人間の記録がポリシーの行動空間でラベル付け可能になる。 - 大規模デモプール(1億4,060万フレーム、93.2% 人間)で学習する。 - 同一手法が 2 つの VLA と 1 つの world-action model backbone で機能する。

実機ヒューマノイドで zero-shot 評価を実施。 - locomotion 指示追従で 100% 成功。 - 比較対象の GR00T N1.7 は 16.7%、Ψ_0 は 0%。 - manipulation はタスク固有 fine-tuning なしで 88.6% 成功。 - 2 つの VLA と 1 つの world-action model backbone で同手法が機能することを確認。 - 人間デモのみで学習した汎用ポリシーが実機 locomotion を zero-shot で実行することも示す。

要旨からは不明。 - 限界、失敗事例、安全性、計算コスト、latent 空間の汎化性などは記述されていない。 - コードとチェックポイントは公開予定と述べられている。

要旨で参照・比較されている研究を挙げる。 - GR00T N1.7 - Ψ_0 - VLA (vision-language-action) モデル - world-action model - 関連するヒューマノイド汎用ポリシー研究