HABILIS Brain 0: 視覚言語行動と残差フロー回復のための幾何変化監督

- 本論文は、Vision-Language-Action (VLA) ポリシーのための新しい学習フレームワーク「Geometry-Change VLA (GC-VLA)」を提案する。 - 現在の観測からマルチビューの未来-現在の幾何変化トークンを予測することを学習する。 - オフラインのフレームペアが0.5秒の予測ホライズンを定義し、未来の観測は訓練ターゲットの構築にのみ使用される。 - 4段階の訓練プロセスを経て、LIBEROで95.20%、GCRF併用で99.55%の成功率を達成。 - 推論時は現在の観測と学習されたGC表現のみを使用し、オフラインのターゲットエンコーダは実行しない。

- 従来のVLAポリシーは現在フレームの幾何情報のみを監督に用いるが、操作に伴う変化を明示的に記述できない。 - 本手法は未来-現在の幾何変化を予測することで、操作に関連する変化を明示的に学習する。 - また、ロボット固有の行動アラインメント前に、ロボットとエゴセントリックビデオを横断して事前学習可能な、身体性に依存しない視覚インターフェースの学習を目指す。 - これにより、従来手法よりも高い成功率を実現している。

- 4段階の訓練を採用。 - Stage 1: 幾何変化視覚言語モデル (GC-VLM) を訓練。 - Stage 2: 連続ActionExpertを導入し、VLMインターフェースで行動フローの勾配を停止しつつロボット行動とアラインメント。 - Stage 3: これらの勾配を有効化し、訓練可能なVLMコンポーネントをActionExpertと共同で更新。 - Stage 4: GC-VLAを凍結し、Geometry-Conditioned Residual Flow (GCRF) を適用。バイナリ介入ルーターと、閉ループフィードバックから学習される単一の有界残差速度ポリシーを使用。 - 推論時は現在の観測と学習されたGC表現のみを使用。

- LIBEROベンチマークで評価を実施。 - GC-VLAは95.20%の成功率を達成。 - GC-VLA with GCRFは99.55%の成功率を達成。 - これにより、提案手法の有効性が検証された。

- 要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) ポリシー、Geometry-Change VLA (GC-VLA)、Geometry-Conditioned Residual Flow (GCRF) が挙げられる。 - 同分野の定番として、LIBEROベンチマークやVision-Language Models (VLM) が考えられる。