Opt2VLA: 接触の多いヒューマノイド全身マニピュレーションのための力認識型視覚-言語-行動モデル

- 人型ロボットの接触を伴う全身マニピュレーションのための force-aware VLA フレームワーク Opt2VLA を提案。 - VLA-to-control インターフェースに明示的な force command を導入し、単一の multi-task VLA policy が幾何学的な motion goal と連続的な contact-force reference を同時に予測。 - 予測された目標はタスク固有の RL-based whole-body controller によって追従される。 - 訓練データは whole-body trajectory optimization (TO) により、動的に実行可能かつ接触整合的な force reference 付きで生成。 - 3つの contact-rich な人型タスクで評価し、シミュレーションと実機で language-conditioned force modulation を実証。

- 既存の VLA モデルは semantic planning や visuomotor control に有望だが、人型システムでは主に幾何学的な motion goal で行動を表現し、motion tracking に焦点を当てた whole-body controller に依存。 - そのため interaction force の明示的な推論や制御が限定的であった。 - Opt2VLA は VLA-to-control インターフェースに明示的な force command を導入することで、接触後は視覚観測が信頼できなくなる状況や、幾何学的に類似した動作でもタスク文脈に応じて異なる力レジームが必要な contact-rich タスクに対処。 - 明示的な force conditioning により、motion-only control よりも正確で一貫した力調整を可能にする点が優位。

- 単一の multi-task VLA policy が幾何学的 motion goal と連続的な contact-force reference を同時に予測。 - 予測された目標はタスク固有の RL-based whole-body controller が追従。 - スケーラブルで物理的に根拠のある監督を提供するため、whole-body trajectory optimization (TO) を明示的な force reference 付きで用いて、動的に実行可能かつ接触整合的な訓練データを生成。 - TO からの物理的に根拠のある torque supervision が force tracking の精度と安定性をさらに向上させる。

- 3つの contact-rich な人型タスクで Opt2VLA を評価。 - 明示的な force conditioning が motion-only control よりも正確で一貫した力調整を可能にすることを示した。 - TO からの物理的に根拠のある torque supervision が force tracking の精度と安定性をさらに改善することを示した。 - 閉ループ評価により、シミュレーションと人型ハードウェア上で language-conditioned force modulation を実証。

- 要旨からは不明。 - ただし、contact-rich タスクにおける力の明示的制御の重要性、接触後の視覚観測の信頼性低下、幾何学的に類似した動作でも異なる力レジームが必要となる点が動機として述べられている。 - 限界や今後の課題についての具体的な議論は要旨には記載されていない。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として vision-language-action (VLA) モデル、whole-body controller、reinforcement learning (RL)、trajectory optimization (TO) が挙げられる。 - 同分野の定番として、人型ロボットの whole-body manipulation や contact-rich manipulation に関する VLA 研究、force-aware control の論文を読むことが推奨される。