AVA-VLA、視覚と言語の行動モデルに能動的視覚注意を導入

何が起きたか

研究者らは、視覚と言語の行動モデル（VLA）の性能向上を目的としたフレームワークAVA-VLAを提案した。このフレームワークは、行動生成をタスク履歴に対する信念の神経近似として機能する再帰状態に条件付け、能動的視覚注意（AVA）により現在の観測の視覚トークンを動的に再重み付けする。実験では、標準ロボットベンチマークのLIBEROとCALVINで最先端の性能を達成し、実世界の双腕操作タスクにも転移可能であることを示した。

詳細

AVA-VLAは、VLAポリシー学習を部分観測マルコフ決定過程（POMDP）の観点から再定式化する。従来のVLAモデルは各タイムステップで視覚観測を独立に処理し、ロボット操作をマルコフ決定過程として扱うが、実世界のロボット制御は本質的に部分観測可能であり、過去の相互作用の推論が必要である。AVA-VLAは、再帰状態を導入し、指示と実行履歴の両方を考慮して現在の観測の視覚トークンを動的に再重み付けする能動的視覚注意を提案する。実験では、LIBEROとCALVINの標準ベンチマークで最先端の性能を達成し、実世界の双腕操作タスクへの転移も確認された。プロジェクトページはhttps://liauto-dsr.github.io/AVA-VLA-Pageで公開されている。

Key Facts

なぜ重要か

AVA-VLAは、VLAモデルの性能向上に寄与するだけでなく、ロボット制御における部分観測性の扱い方に新たな視点を提供する。これにより、実世界の複雑な操作タスクへの応用が進み、ロボットの自律性が向上する可能性がある。また、能動的視覚注意の概念は、視覚と言語の統合モデル全般に応用できる可能性があり、今後の研究の方向性を示唆している。