日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.06184

Astraで低コストに長期記憶タスクを解く三層ロボット操作システム

Can Astra Solve RoboMME without Breaking the Bank?

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語プランナー・VLAポリシー・軽量モニタの三層構成で、呼び出し回数を抑えつつ長期記憶を要する操作タスクを高精度に遂行する手法を提案。

詳しい要約

1. どんなもの?

- RoboMME benchmark 向けの three-tier ロボット操作システム - System 2: GPT-6 Astra が保存された visual history から grounded subtask を選択 - System 1: $π_{0.5}$ vision-language-action policy が subtask を実行 - System 1.5: fine-tuned Qwen3-VL-4B monitor が各 action chunk 後に subtask 完了を判定 - 目的: 履歴依存の操作を、大規模 vision-language planner の高頻度呼び出しなしで実現

2. 先行研究と比べてどこがすごい?

- 大規模 vision-language planner を毎 action chunk 呼ぶ方式は遅く高コストという課題に対し、呼び出しを削減 - RoboMME で 79.13% の成功率、1 episode あたり平均 3.63 回の Astra 呼び出し、80.84 秒 - 公開されている best non-oracle baseline を 34.62 ポイント上回る - GroundSG+Oracle(低レベル policy に ground-truth subgoal を与える)には 4.95 ポイント及ばない

3. 技術・手法の肝は?

- three-tier 構成 - System 2 (GPT-6 Astra): visual history から grounded subtask を選択 - System 1 ($π_{0.5}$ VLA policy): subtask を実行し、新しい観測に基づき行動を継続 - System 1.5 (fine-tuned Qwen3-VL-4B monitor): action chunk ごとに subtask 完了を確認 - 指示は monitor が完了を報告するか task-specific event が起きるまで保持

4. どうやって有効だと検証した?

- RoboMME benchmark 上で評価 - 成功率 79.13%、平均 Astra 呼び出し 3.63 回/episode、平均 80.84 秒/episode - best published non-oracle baseline 比 +34.62 ポイント、GroundSG+Oracle 比 -4.95 ポイント

5. 議論はある?

- GroundSG+Oracle との 4.95 ポイント差が残る(ground-truth subgoal の有無の影響) - 呼び出し回数・時間のコストと成功率のトレードオフ - monitor の誤判定や task-specific event 依存の挙動については要旨からは不明

6. 次に読むべき論文は?

- GroundSG(ground-truth subgoal を与える比較対象) - $π_{0.5}$ vision-language-action policy - Qwen3-VL-4B(fine-tuned monitor の base model) - GPT-6 Astra などの大規模 vision-language planner を用いた階層型ロボット操作の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bingao Chen, Haoquan Fang, C. Karen Liu

分類: cs.RO

原文アブストラクト

Robotic manipulation often requires remembering information that is no longer visible, such as an object's location before occlusion or the order of a demonstrated action sequence. A large vision-language planner can read this history, but calling it before every action chunk is slow and costly. We present a three-tier system for the RoboMME benchmark. GPT-6 Astra (System 2) selects a grounded subtask from stored visual history, a $π_{0.5}$ vision-language-action policy (System 1) executes it, and a fine-tuned Qwen3-VL-4B monitor (System 1.5) checks after each action chunk whether the subtask is finished. The instruction is kept until the monitor reports completion or a task-specific event occurs, while the policy keeps acting on new observations. On RoboMME, the system succeeds in 79.13% of episodes with an average of 3.63 Astra calls and 80.84 seconds per episode. This is 34.62 points above the best published non-oracle baseline and 4.95 points below GroundSG+Oracle, which gives the low-level policy ground-truth subgoals.

関連論文

PR本紙発行元 EmplifAI