日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2608.16889v1

BATONを落とすな:エージェント的サブタスク探索と遷移認識メモリによる長期的ロボット操作

Don't Drop the BATON: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-aware Memory

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクを、VLAモデルを凍結しLLMエージェントがサブタスク単位で探索・記憶することで、コストを加算的にし、遷移条件を明示して失敗を単一ステージに帰属させる手法BATONを提案。

詳しい要約

1. どんなもの?

BATONは、長期的なロボット操作タスクを、複数の接触を伴うサブタスクに分割し、LLMエージェントとVLAモデルを組み合わせて解決するフレームワーク。VLAを凍結し、LLMが言語で計画、解析的なプリミティブで自由空間を移動、接触を伴う部分のみVLAを呼び出し、適応を言語メモリに書き込む。サブタスク単位の探索と遷移認識メモリを導入し、長期的なタスクの成功率を向上させる。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは個々のスキルは習得できるが、長期的なタスクではエラーが蓄積し、サブタスク間の遷移が考慮されない。また、テスト時にタスク全体を探索する方法は、ステージ数に対して指数関数的なコストがかかる。BATONは、サブタスク単位の探索によりコストを加算的にし、遷移認識メモリでサブタスク間の状態の引き継ぎを明示的に扱う点が新しい。

3. 技術・手法の肝は?

BATONは、サブタスクを探索の単位とし、各サブタスクを短期的な設定で探索して解をメモリに保存。長期的な軌道はこれらの解を合成して構成する。遷移認識メモリとして、サブタスク内ではverifier agentが手首カメラの画像でシーンが準備できたかを確認してからVLAを呼び出す。サブタスク間では、handoff transitionが前のサブタスクの残骸で乱されたエントリ状態を復元し、lookahead transitionが後続のサブタスクが引き継げる戦略を選択する。パラメータ更新は行わない。

4. どうやって有効だと検証した?

長期的なベンチマークRoboMemArenaで評価し、タスク成功率をSoTA比で11.6%、累積成功率を14.9%向上させた。

5. 議論はある?

要旨からは、BATONの限界や議論は不明。ただし、パラメータを更新しないため、新しいタスクへの適応はメモリの蓄積に依存する可能性がある。また、verifier agentの信頼性や、探索コストが本当に加算的になるかは、タスクの性質に依存するかもしれない。

6. 次に読むべき論文は?

要旨で参照されているRoboMemArenaの論文、およびVLAモデルやLLMエージェントを用いたロボット操作の関連研究(例: RT-2, SayCan, Code as Policies)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bingxin Xu, Yuzhang Shang, Emilio Ferrara

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Long-horizon robot manipulation chains many contact-rich skills into one multi-stage task. Vision-language-action (VLA) models increasingly master the individual skills, yet the chain still fails: errors compound beyond the policy's ability to correct, and one subtask silently constrains the next. A promising recipe freezes the VLA and puts an LLM agent in charge: it plans in language, moves in free space with analytic primitives, invokes the VLA only for contact-rich segments, and writes adaptation into language memory. Applied to long horizons, it breaks twice. (1) Competence comes from whole-task exploration at test time, whose cost is multiplicative in stages: if one stage needs T episodes, a K-stage task needs about T^K, and a failure does not reveal which stage caused it. (2) It has no representation of transitions: the VLA primitive carries an exit but no entry condition, so a subtask can succeed in a form its successor cannot use. We present BATON. Against (1), BATON makes the subtask the unit of exploration: each is explored in the cheap short-horizon regime and its solution stored in memory; a long-horizon trajectory is then composed from these solutions rather than discovered whole. Cost becomes additive (T*K) and every failure is attributed to a single stage. Against (2), BATON equips exploration with a transition-aware memory. Within a subtask, a verifier agent governs the invocation transition: the VLA is called only after the wrist view confirms the scene is ready. Across subtasks, a handoff transition restores an entry state disturbed by the predecessor's residue, and a lookahead transition selects the strategy whose outcome the successor can inherit. No parameters are updated. On the long-horizon benchmark RoboMemArena, BATON improves task success by 11.6% and cumulative success by 14.9% over the SoTA.