arXiv論文がVLA向けベンチマーク「MIKASA-Robo-VLA」を公開　90課題と22,500軌跡を収録

何が起きたか

arXiv上で2026年9月30日に公開された論文「MIKASA-Robo-VLA」は、長期の操作課題におけるVLAモデルの記憶を測るためのベンチマークを提示した。ベンチマークは90件の言語条件付き操作課題で構成され、うち80件は行動が依存する手がかりを隠している。著者らは22,500本のoracle trajectoriesも公開し、参考ベースラインとしてπ0.5を14課題で微調整した結果、平均成功率は0.211±0.044だった。

詳細

MIKASA-Robo-VLAは、既存のVLAモデルが「直近の1〜数フレームしか見ない」状況で、タスク途中で消える情報をどう扱うかを評価することを狙う。論文では、MIKASA-Roboの32課題を再構成しつつ、ここでは全課題に指示文を与え、記憶依存課題ではタスク関連の手がかりを隠し、反応的制御の10課題ではその手がかりを可視のまま残す設計を採った。 さらに、70課題では環境のフェーズ時刻が情報ギャップを定義し、そのうち28課題ではそのギャップが最大16フレームの固定コンテキスト窓を超えるとされる。論文は、ギャップは「手がかりが確かに存在しない区間」だけを数えており、ポリシーが記憶を保持しなければならない全期間ではないとしている。公開データはRLDSとLeRobotDataset v3で、10種類の記憶タイプにまたがる22,500本のoracle trajectoriesである。

Key Facts

本紙の見方

MIKASA-Robo-VLAの新しさは、VLAモデルの「見えている範囲」ではなく、作業途中で消える手がかりをどれだけ保持できるかを中心に据えた点にある。90課題のうち80課題で手がかりを隠し、さらに70課題で情報ギャップを定義した設計は、単純な単発認識ではなく、入力→保持→再参照→行動という流れを測るための構造だといえる。一方で、反応的制御の10課題を残しているため、全課題を記憶依存に寄せ切ったわけではなく、記憶が不要な条件も比較対象として置いている。 本紙の観点では、これはロボット学習データの集め方そのものに対するベンチマークである。MIKASA-Roboは32課題、今回のMIKASA-Robo-VLAは90課題、さらに22,500本のoracle trajectoriesをRLDSとLeRobotDataset v3で配布するため、モデルだけでなくデータ形式や評価手順まで含めた比較基盤になっている。公開情報から読む限り、焦点は「どのモデルが強いか」よりも、「どの時間幅の情報を保持させる評価が必要か」に移っている。28課題で16フレームの固定コンテキスト窓を超える一方、論文はギャップが実際の記憶要求の全体ではないと明記しており、時間窓の長さだけで難易度を測る単純化は避けている。 業界構造への含意は、評価軸が短時間の視覚反応から長時間の状態保持へ広がる点にある。VLA開発では、モデルのアーキテクチャだけでなく、オブザベーション履歴の持ち方、チャンク化の仕方、記憶モジュールの有無が成否に影響しうるため、ベンチマーク側がそれらを切り分ける必要がある。今回のベースラインπ0.5の結果も、観測履歴や明示的記憶を持たない設定での数値として提示されており、今後は同じ課題群でどの記憶方式が効くかを比べる設計が焦点になるとみられる。 未確定の論点は、22,500本の軌跡を用いたときのモデル間比較の詳細、14課題以外でのベースラインの挙動、そして各記憶タイプごとの難易度差である。論文はLong-splitの低い成功率についてopen-loop chunkingと記憶タイプの構成が交絡するとしており、どの要素が成績を左右したのかは、同一ベンチマーク上での追加評価を待つ必要がある。

なぜ重要か

VLAモデルを扱う研究者やロボット学習の開発者にとって、単発認識ではなく長期の記憶を要する課題で性能を比較できる点が重要である。論文が90課題、22,500本の軌跡、10種類の記憶タイプを公開したことで、評価の共通基盤が具体化した。

日本への影響

日本のロボット研究やVLA開発では、短い観測履歴で済む課題だけでなく、手がかりが消える状況を前提にした評価設計が必要になるとみられる。特に、14課題で評価されたπ0.5のような履歴なし設定と、記憶を持つ方式を同じ基準で比べるには、今回のようなベンチマークが参照点になる。