GPT-6 Astraなど3段階構成のシステム、RoboMMEで79.13%の成功率

何が起きたか

arXiv掲載論文は、RoboMMEで79.13%の成功率を示す3段階システムを報告した。構成は、GPT-6 Astraが視覚履歴からサブタスクを選び、π₀.₅の視覚言語行動（VLA）ポリシーが実行し、ファインチューニングしたQwen3-VL-4Bが行動チャンクごとに完了を監視するものだ。エピソード当たりのAstra呼び出しは平均3.63回、所要時間は平均80.84秒だった。

詳細

システムでは、Astraが保存された視覚履歴を基に、対象物が見えなくなった後の位置などを踏まえた、接地されたサブタスクを選ぶ。指示は、監視役が完了を報告するか、タスク固有のイベントが起きるまで保持され、その間もポリシーは新たな観測に基づいて動作する。 論文によると、RoboMMEでの成功率は、公開済みの最良の非オラクル・ベースラインを34.62ポイント上回り、低レベルのポリシーに正解サブゴールを与えるGroundSG+Oracleを4.95ポイント下回った。

Key Facts

本紙の見方

この結果の焦点は、計画モデルの性能だけでなく、その呼び出しを行動のたびに繰り返さず、実行役と完了監視役を分けた構成にある。Astraは視覚履歴からサブタスクを選び、π₀.₅が新しい観測に応じて動き、Qwen3-VL-4Bが行動チャンクごとの完了を判定する。したがって、履歴を参照する計画と、観測を更新しながら続ける低レベル実行を異なる頻度・役割に割り当てた設計と読める。平均3.63回というAstra呼び出し数は、この方式で高位計画を毎回呼ばない構成を示す一方、呼び出し数だけから金銭的な費用や従来方式に対する削減額を評価することはできない。 79.13%という成功率は、論文が比較対象とした最良の公開済み非オラクル・ベースラインより34.62ポイント高い。ただし、正解サブゴールを低レベルポリシーに与えるGroundSG+Oracleとは4.95ポイントの差が残る。この差は、少なくとも同ベンチマーク上では、履歴に基づくサブタスク選択を備えても、正解サブゴールを利用する条件と同じ成績にはなっていないことを示す。比較結果を実環境での優位性や汎用性能にそのまま広げることはできない。 業界構造の観点では、計画モデル、VLA実行器、視覚言語モデルによる監視器を一体の制御系として組み合わせ、モデル全体を単一の判断器に担わせない点が論点となる。履歴情報の保持と完了判定を別モジュールに置くことで、どの段階が失敗に関わったかを切り分けやすくする設計にも見えるが、論文の要約にその評価結果は示されていない。RoboMMEの79.13%はエピソード単位の成績であり、個々のモジュールの寄与や、場面別の成功・失敗を示す数字ではない。 次に確認すべきなのは、Astra呼び出し回数や80.84秒の測定条件、監視器の判定誤りが全体の失敗に占める割合、各モジュールを除いた場合の比較である。ベンチマーク外の物体・環境で履歴参照がどこまで有効か、安全性や長時間稼働をどう評価したかも、ここに示された結果だけでは判断できない。とりわけ「Breaking the Bank」という題名に対し、実際の金銭コストや比較対象の費用は提示された要約には含まれず、平均呼び出し回数を費用対効果の証明とみなすのは早い。

なぜ重要か

RoboMMEの結果は、視覚履歴からの計画、行動実行、完了監視を分担する構成が、同ベンチマークで79.13%の成功率を示したことを意味する。平均3.63回のAstra呼び出しも報告されたが、論文の要約には金銭コストの比較がなく、呼び出し回数だけでは費用削減の有無は判断できない。