LIRA: 視覚言語行動デコーディングのための局所クロスレイヤー情報ルーティング

LIRAは、Vision-Language-Action (VLA)モデルにおいて、事前学習済みのVision-Language Model (VLM)の中間特徴をアクションデコーダにルーティングするインターフェースを改良する手法。既存の設計は表現階層の一部しか露出しないか、デコーダブロックを単一のVLM層に固定的にマッチさせるため、深さ方向の補完的なタスク情報へのアクセスが制限される。LIRAは、深さを考慮した情報ルーティングとしてVLM-to-action conditioningを定式化し、タスクトークン特徴とLIRA Query特徴を中間VLM状態から導出し、各Parallel Fusion Blockに深さ整合のローカルウィンドウを割り当てる。これにより、バックボーンアーキテクチャ、アクションデコーダ、教師あり学習レシピは変更しない。

先行研究のVLA-Adapterベースラインと比較して、LIRAは中間VLM特徴のルーティングをより柔軟にし、複数層からの補完的な情報を局所的に集約できる点が優れている。既存手法は単一層への固定マッチングや狭い範囲の特徴露出に限定されるが、LIRAは深さ整合のローカルウィンドウを用いて隣接するLIRA Query特徴を集約し、タスクトークン特徴とプロプリオセプティブ入力を統合する。これにより、同じ0.5Bパラメータ構成で主要な集約メトリクスを改善し、特にゼロショット転移で成功率を59.1%から78.0%に向上させるなど、ロバスト性が向上する。

LIRAの核心は、VLMの中間状態からタスクトークン特徴とLIRA Query特徴を導出し、各Parallel Fusion Blockに深さ整合のローカルウィンドウを割り当てること。Parallel Fusion Blockは、対応するVLM層を中心とした隣接LIRA Query特徴を集約し、タスクトークン特徴とプロプリオセプティブ入力を統合してからアクション予測を行う。このルーティングインターフェースは、バックボーン、アクションデコーダ、教師あり学習レシピを変更せずに、深さ方向の情報ルーティングを実現する。

LIBERO、LIBERO-Plus、CALVIN ABC→D、および実世界のマニピュレーションタスクで検証。同じ0.5Bパラメータ構成のVLA-Adapterベースラインと比較して、主要な集約メトリクスを改善。特に、LIBERO-Plusへのゼロショット転移では、平均成功率が59.1%から78.0%に向上し、18.9ポイントの改善が見られた。これは、制御された分布シフト下でのロバスト性向上を示す。

要旨からは、LIRAの限界や潜在的な欠点についての議論は不明。ただし、ゼロショット転移での改善は顕著であるが、他のタスクでの詳細な性能差や、計算コスト、スケーラビリティなどについては言及がない。また、LIRAが特定のVLAモデルやタスクに依存する可能性も考えられるが、要旨からは断定できない。

要旨で参照されているVLA-Adapterベースライン、および関連するVLAモデルやVLM-to-action conditioningの研究。具体的には、VLA-Adapterの論文や、Vision-Language-Actionモデルの基盤となる研究（例：RT-2、PaLM-Eなど）が考えられる。また、クロスレイヤー情報ルーティングやマルチスケール特徴融合に関する研究も関連する。