GRAFT: 微細なロボット操作のための接地された効率的なオンライン強化学習適応

GRAFTは、事前学習済みのvision-language-action (VLA)ポリシーを、微細なロボット操作タスク（特に生物医学分野）にオンライン適応させるためのフレームワークである。領域レベルの教師信号を用いて、タスクに関連する局所的な視覚的手がかりに焦点を当てた視覚アンカーを学習し、展開時には領域提案を必要としない。さらに、単一ステップの行動生成とキャッシュされた視覚言語プレフィックスの再利用を組み合わせることで、オンライン学習の計算コストを削減する。

従来のVLAポリシーのオンライン適応は、タスクレベルの報酬がどの視覚領域が重要かの手がかりをほとんど与えず、限られた実ロボットインタラクションからタスク関連の視覚的グラウンディングを学習するのが困難であった。また、VLA推論とリプレイベースの更新の計算コストがオンライン適応を制約していた。GRAFTは、領域レベルの教師信号を用いて視覚アンカーを学習することで、展開時に領域提案を必要とせずにタスク関連の局所的手がかりに焦点を当て、さらに単一ステップの行動生成とキャッシュ再利用により計算オーバーヘッドを削減する点が新しい。

GRAFTの技術的な肝は、(1) 領域レベルの教師信号を用いて、視点固有の視覚アンカーを学習し、展開時には領域提案を必要とせずにタスク関連の局所的手がかりに焦点を当てること、(2) 単一ステップの行動生成とキャッシュされた視覚言語プレフィックスの再利用を組み合わせて、オンライン学習の計算コストを削減することである。

4つの生物医学操作タスクにおいて、適応予算を一致させた条件下で、GRAFTは成功率を25パーセントポイント向上させ、オンラインポリシー更新の計算オーバーヘッドを削減した。

要旨からは、GRAFTの限界や潜在的な欠点についての議論は不明である。また、領域レベルの教師信号の取得方法や、視覚アンカーの一般化可能性などについての詳細も要旨からは不明である。

要旨で参照されている先行研究や関連手法は明示されていないが、VLAポリシー、オンライン適応、視覚的グラウンディングに関する研究が関連する。具体的には、vision-language-action models、reinforcement learning for robot manipulation、visual grounding in roboticsなどの分野の論文が挙げられる。