日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.18352

心で描き、手で成し遂げる：長期的ロボットマニピュレーションのためのマルチモーダル指示追従

Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル指示を順序付きサブタスクに分解し、進捗評価器で次に進むタイミングを判断するエージェント「Orchestra」を提案。長期的なロボット操作タスクの成功率と実行長を大幅に改善した。

詳しい要約

1. どんなもの？

- ロボットが多段階のマルチモーダル指示を実行するためのエージェントハーネス「Orchestra」を提案。 - タスク計画と実行管理を行動生成から分離し、指示を順序付きサブタスクに分解。 - 実行中に完了ステップを追跡し、関連物体と目的地の位置を更新。 - アクティブなサブタスク、空間グラウンディング、最近の観測を含む共有コンテキストを維持。 - 行動ポリシーがこのコンテキストから行動を生成し、別途訓練された進捗評価器が次のサブタスクへの移行タイミングを推定。 - 原子指示と短い軌道で訓練されたロボットがより長いサブタスク列を実行できるかを評価するベンチマーク「RMBench-Compose」も導入。

2. 先行研究と比べてどこがすごい？

- 9つのRMBenchタスクで平均成功率68.22%を達成し、Mem-0を26.22ポイント上回る。 - RMBench-Composeで平均成功長（ASL）7.35サブタスクを達成し、HarnessVLAの2.46倍。 - 実世界の4つの多段階タスクで、ベースのπ_{0.5}ポリシーを用いたOrchestraより平均ASLを25.0%改善。 - これらの結果は、要求されたサブタスク順序を保ち、指定された物体に作用しながら、より長いサブタスク列を実行できることを示す。

3. 技術・手法の肝は？

- タスク計画と実行管理を行動生成から分離するエージェントハーネス。 - 完全なマルチモーダル指示を順序付きサブタスクに分解。 - 完了ステップを追跡し、実行中に関連物体と目的地の位置を更新。 - アクティブなサブタスク、空間グラウンディング、最近の観測を含む共有コンテキストを維持。 - 行動ポリシーがこのコンテキストを用いて行動を生成。 - 別途訓練された進捗評価器が次のサブタスクへの移行タイミングを推定。

4. どうやって有効だと検証した？

- 9つのRMBenchタスクで平均成功率68.22%を達成し、Mem-0を26.22ポイント上回ることで検証。 - RMBench-Composeで平均成功長（ASL）7.35サブタスクを達成し、HarnessVLAの2.46倍であることで検証。 - 実世界の4つの多段階タスクで、ベースのπ_{0.5}ポリシーを用いたOrchestraより平均ASLを25.0%改善することで検証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Mem-0 - HarnessVLA - π_{0.5}ポリシー - RMBench - RMBench-Compose

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youpeng Wen, Gang Wang, Tianyu Huang, Weiwei Zhang, Zhijian Huang, Wei Chen, Xieyuanli Chen, Yunhui Liu

分類: cs.RO, cs.AI

原文アブストラクト

A robot following a multi-step instruction needs to act on the right objects in the right order, even as the scene changes. It must also maintain awareness of task progress and determine when to advance. To address these challenges, we introduce Orchestra, an agent harness that separates task planning and execution management from action generation. Orchestra decomposes a complete multimodal instruction into ordered subtasks, tracks completed steps, and updates the locations of relevant objects and destinations during execution. It maintains a shared context containing the active subtask, spatial grounding, and recent observations. An action policy uses this context to generate actions, while a separately trained progress evaluator estimates when to advance to the next subtask. To evaluate whether robots trained on atomic instructions and short trajectories can execute longer subtask sequences, we introduce a benchmark named RMBench-Compose. Orchestra achieves a mean success rate of $68.22\%$ across nine RMBench tasks, outperforming Mem-0 by $26.22$ percentage points. On RMBench-Compose, it achieves an Average Success Length (ASL) of $7.35$ subtasks, $2.46$ times that of HarnessVLA. Across four real-world multi-step tasks, it improves mean ASL by $25.0\%$ over Orchestra using the base $π_{0.5}$ policy. These results show that Orchestra helps robots carry out longer sequences of subtasks while preserving the requested subtask order and acting on the specified objects. Our code and project page are available at https://youpengwen.github.io/Orchestra.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI