日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.34108

RoboDuo: コードを介した試行・確認・原子的リカバリによるVLAの長期的タスク遂行

RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

コードをインターフェースにコーディングエージェントと2つのVLAを連携させ、全体タスクVLAの失敗を原子的スキルVLAで補完する閉ループ二重システムを提案。既存VLAの重みを更新せず長期的タスクの成功率を向上。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルは言語指示と観測から直接行動を出力するが、指示が完了したかを確認しない。 - 長い horizon のタスクでは 1 ステップの失敗が見逃され、タスク全体が未完了になる問題がある。 - 失敗した episode でもタスクは部分的に完了していることが多く、未完了ステップは繰り返し現れる再利用可能な atomic skills である点に着目。 - 失敗した試行を atomic skills の組み合わせで回復する closed-loop dual-system framework「RoboDuo」を提案。 - code を coding agent と 2 つの VLA のインターフェースとして用いる。

2. 先行研究と比べてどこがすごい？

- 既存の full-task VLA は指示の完了確認を行わず、失敗ステップを見逃す。 - RoboDuo は coding agent が full-task VLA にタスク全体を試行させ完了を check し、失敗時に atomic VLA が残りステップを実行する。 - agent は行動を出力せず、どの VLA を実行するかだけを決めるため、既存の full-task VLA を重み更新なしでラップできる。 - X-VLA や $π_{0.5}$ を一貫して改善し、特に long-horizon タスクで最大の改善。 - frozen な full-task VLA の失敗 rollout を実ロボットで回復。

3. 技術・手法の肝は？

- code をインターフェースとする closed-loop dual-system framework。 - coding agent がプログラムを書き、full-task VLA にタスク全体を attempt させ、完了したかを check する。 - 失敗時には atomic VLA が残りのステップを実行する。 - agent は行動を出さず、どの VLA を実行するかのみを決定する。 - 既存 full-task VLA の重みを更新せずにラップ可能。 - atomic VLA と completion-checking 能力を持つ coding agent の訓練のため、単一の LIBERO demonstrations から LIBERO-Atomic、LIBERO-Code、LIBERO-Judge を構築。

4. どうやって有効だと検証した？

- LIBERO と LIBERO-PRO 上で X-VLA と $π_{0.5}$ を一貫して改善。 - 特に long-horizon タスクで最大の改善を確認。 - frozen な full-task VLA の失敗 rollout を実ロボットで回復できることを確認。 - 訓練・評価用に LIBERO-Atomic、LIBERO-Code、LIBERO-Judge を単一の LIBERO demonstrations から構築。

5. 議論はある？

- 要旨からは不明。 - 失敗 episode が部分的に完了していること、未完了ステップが再利用可能な atomic skills であることを前提としている点は議論の余地がある。 - coding agent が完了を check する精度や、atomic VLA への切り替えの妥当性は要旨からは不明。

6. 次に読むべき論文は？

- X-VLA - $π_{0.5}$ - LIBERO - LIBERO-PRO - LIBERO-Atomic / LIBERO-Code / LIBERO-Judge - Vision-Language-Action (VLA) モデル全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Wang, Bo Zhang, Renzhi Lu, Jianyu Chen

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models map a language instruction and the current observation directly to actions, without checking whether the instruction has been completed. For long-horizon tasks, a single failed step therefore goes unnoticed and leaves the whole task unfinished. Such failed episodes, however, often end with the task partially complete. Moreover, the unfinished steps are reusable atomic skills that recur across demonstrations. A failed attempt can thus be recovered by composing with atomic skills. We propose RoboDuo, a closed-loop dual-system framework that uses code as the interface between a coding agent and two VLAs. The agent writes a program that lets a full-task VLA attempt the whole task and checks whether it is complete; on failure, an atomic VLA finishes the remaining steps. Since the agent emits no actions and only decides which VLA for execution, RoboDuo wraps an existing full-task VLA without updating its weights. To train the atomic VLA and the coding agent with the completion-checking ability, we build LIBERO-Atomic, LIBERO-Code, and LIBERO-Judge from a single set of LIBERO demonstrations. RoboDuo consistently improves X-VLA and $π_{0.5}$ on LIBERO and LIBERO-PRO, with the largest gains on long-horizon tasks, and recovers failed rollouts of a frozen full-task VLA on a real robot.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI