NestedVLA: スキルの統合と生成による視覚-言語-行動モデル

- Vision-Language-Action (VLA) モデルにおいて、異種タスク・環境で学習したスキルを事後的に統合(consolidation)するパラダイムを提案する研究。 - 提案手法 NestedVLA は、パラメータ集約の代わりにパラメータ生成を採用する。 - 目標タスクを条件とする nested hypernetwork が、タスク適応型の action-expert パラメータを合成する。 - 合成されたパラメータは frozen な base VLA と組み合わせて使う。 - タスク固有の圧縮された VLM residual は別途保持する構成。 - スキルをまず個別に学習し、後から統合する枠組みを志向する。

- 従来は異種タスクのデータがプラットフォーム間で分断され、joint multi-task training は干渉(interference)に悩まされていた。 - model merging はパラメータ衝突(parameter conflicts)を生じやすく、アーキテクチャ変更を要する場合もあった。 - NestedVLA はパラメータ集約ではなく生成で統合するため、干渉を緩和しつつタスク条件付きのスキル再利用を可能にする。 - 3つの RL ベンチマークで最強の model-merging baseline を平均 41 pp 上回る。 - ManiSkill では per-task fine-tuning に 1 pp 以内で匹敵し、CALVIN でも差を大きく縮める。 - ストレージ効率の良いスキル統合経路を示す点が特長。

- 中核は nested hypernetwork によるパラメータ生成。 - 目標タスクを条件として、タスク適応型の action-expert パラメータを合成する。 - 合成パラメータは frozen な base VLA と組み合わせて動作する。 - タスク固有の圧縮された VLM residual を別途保持し、タスクごとの適応を担う。 - スキルはまず個別に学習し、事後に統合する(post hoc consolidation)設計。 - パラメータ集約を避けることで、model merging 由来のパラメータ衝突を回避する狙い。 - 詳細な学習手順や hypernetwork の具体的構成は要旨からは不明。

- 3つの RL ベンチマーク MetaWorld、ManiSkill、CALVIN で評価。 - 最強の model-merging baseline に対し平均 41 pp 上回る性能を報告。 - ManiSkill では per-task fine-tuning に 1 pp 以内まで迫る。 - CALVIN では per-task fine-tuning との差を大きく縮小。 - 具体的なタスク数・指標・実験設定の詳細は要旨からは不明。

- スキルを個別学習後に統合するパラダイムの有効性を主張。 - パラメータ生成により model merging のパラメータ衝突やアーキテクチャ変更の必要性を回避できると論じる。 - タスク条件付きのスキル再利用と干渉緩和の両立を狙う。 - ストレージ効率の良い統合経路として位置づける。 - 限界・失敗ケース・計算コスト・スケーラビリティに関する議論は要旨からは不明。

- 比較対象の model merging 系研究(最強 baseline として言及)。 - per-task fine-tuning との比較が示されているため、fine-tuning 系の VLA 適応研究。 - 評価に用いられた MetaWorld、ManiSkill、CALVIN の各ベンチマーク論文。 - hypernetwork によるパラメータ生成の関連研究。 - 個別の論文名は要旨で明示されていないため、上記は一般名・ベンチマーク名レベルでの挙げ。