何が起きたか
arXiv掲載の論文「Dense to MoE Adaptation for Compact Vision Language Action Policies」は、視覚言語行動（VLA）ポリシーのLLM側パラメータを減らす手法「AdaDE」を示した。AdaDEは選択したdenseなfeed forward blocksをmixture of experts（MoE）層へ変換し、学習時のrouter統計からexpert retention maskを導出する。論文は、LLMパラメータの40%を無効化しても、LIBEROで平均95.1%、RobotWin2.0の全50タスクで平均42.0%の成功率を維持したとしている。
詳細
AdaDEでは、Dense2MoE変換が初期化時点で元のdense FFN機能を保つため、別個の回復段階を置かずにexpertの無効化を始められるとしている。固定的な停止ルールではなく、routerの使用統計に基づいてexpert maskを動的に更新し、早期崩壊を避けるために段階的な学習とexpert protectionを組み合わせる設計である。 論文が示した評価では、40%のLLMパラメータを無効化した状態で、LIBEROの平均成功率は95.1%、RobotWin2.0では全50タスク平均42.0%だった。主眼は、アクティブなVLAモデルサイズを大きく落としつつ、下流タスク性能の大幅な毀損を避ける点にある。
Key Facts
| 論文名は「Dense to MoE Adaptation for Compact Vision Language Action Policies」である。 | [1] |
| 手法名はAdaDEである。 | [1] |
| AdaDEは選択したdense feed forward blocksをmixture of experts（MoE）層へ変換する。 | [1] |
| LLM側パラメータの40%を無効化した状態で評価している。 | [1] |
| 性能はLIBEROで平均95.1%、RobotWin2.0の全50タスクで平均42.0%の成功率だった。 | [1] |
本紙の見方
今回の論文の新規性は、VLAポリシーを単に圧縮するのではなく、denseなFFNをMoEへ変換し、推論時に残すexpertをrouter統計で動的に選ぶ点にある。固定ルールで一律に枝刈りするのではなく、初期化時に元のdense FFN機能を保ったまま段階的に無効化へ移れる設計で、資源制約のあるロボット実機への載せ替えを意識した形だと読める。 本紙の過去報道は与えられていないため、連続性の確認はできない。ただ、今回の内容は「VLAを大きくする」方向ではなく、「稼働時に残すLLM側パラメータをどこまで減らせるか」に焦点を移している。40%無効化という数値と、LIBEROで95.1%、RobotWin2.0で42.0%という結果を並べると、圧縮の成否が単なるモデル規模ではなく、タスク群ごとの保持性能で評価されるべき段階に入っていることが分かる。 業界構造としては、ロボット向けVLAのボトルネックが学習精度だけでなく、搭載計算資源と推論時のアクティブパラメータ量にあることを示す。denseからMoEへの適応は、学習済みモデルの再設計を通じて、同じ基盤モデルをより小さい実行形態へ落とす経路になりうる。一方で、論文が提示したのは評価結果までであり、実機搭載時のレイテンシ、メモリ占有、消費電力、どのタスクで性能が落ちるのかまでは読み切れない。今後は、無効化率をさらに上げた場合の限界、Router統計に基づくマスク更新の安定性、そしてRobotWin2.0の50タスクの内訳ごとの差が焦点になる。
なぜ重要か
この論文は、ロボットでVLAを動かす際の計算資源制約に対し、LLM側パラメータの40%を無効化しても性能を一定程度保てる可能性を示した点に意味がある。発表元のarXivによれば、LIBEROとRobotWin2.0の両方で成功率を示しており、用途別の性能と搭載可能なモデル規模の両立が検討対象になる。
日本への影響
日本のロボット開発でも、搭載計算機の制約がある実機でVLAを動かすには、モデル圧縮だけでなく稼働時にどのパラメータを残すかという設計が重要になるとみられる。特に、実機のメモリや演算余力が限られる用途では、denseからMoEへの適応のような手法が採用条件になりうる。