両腕マニピュレーション2026/11/9arXiv:2611.12409

言語指示による両腕マニピュレーションのためのタスク計画と実行の橋渡し

Bridging Task Planning and Execution for Language-Conditioned Bimanual Manipulation

言語指示で両腕ヒューマノイドに作業させるため、物体関係と実行制約を統合したシーン表現で計画し、階層的検証で失敗から回復するゼロショット枠組みを提案した。

詳しい要約

1. どんなもの？

- 言語条件付きの両腕マニピュレーションのためのzero-shot vision-languageフレームワーク - 家庭支援や物流のような clutter 環境を想定 - 二本のマニピュレータの協調による interaction と kinematic 制約を扱う - タスク目的と物理的実行可能性(execution feasibility)を同時に推論する - 計画を構造化された scene representation に接地 - 両腕の並列 stage と pre-/post-condition を明示 - CENTAURO hybrid wheeled-legged humanoid robot 上で評価

2. 先行研究と比べてどこがすごい？

- 従来のタスク計画はタスク目的中心で、実行可能性の推論が弱い - 本手法は execution-aware な計画を統合 - 両腕 humanoid 特有の協調・kinematic 制約を計画に組み込む点が特徴 - 非 execution-aware baseline よりタスク成功率が高いと報告 - 失敗時、常に replanning するより少ない model query で回復 - hierarchical validator と stage-level execution history の活用が寄与

3. 技術・手法の肝は？

- 構造化 scene representation - semantic object relations と execution constraints を統合 - 障害物の relocation や実行選択をタスク意味を保ちつつ選ぶ - 両腕の compatible actions を並列 stage に組織 - 各 stage に明示的な pre-/post-condition - hierarchical validator - 知覚不確実性下で条件を評価 - stage-level execution history を用いて local recovery または targeted replanning - zero-shot vision-language による計画・実行の橋渡し

4. どうやって有効だと検証した？

- CENTAURO hybrid wheeled-legged humanoid robot 上で実験 - 9 つの language-conditioned manipulation scenarios - 非 execution-aware baseline より高い task success - 専用の failure scenarios - hierarchical validation が execution failure から回復 - 常に replanning する場合より少ない model query - 動画・追加資料は Project Webpage で公開

5. 議論はある？

- 実行推論をタスク計画に直接組み込む利点を示す - 知覚不確実性下の条件評価と stage-level history による回復・再計画の有効性 - 限界や失敗条件の詳細は要旨からは不明 - 一般化可能性、スケーラビリティ、他プラットフォームへの転用は要旨からは不明

6. 次に読むべき論文は？

- 要旨で比較されている非 execution-aware baseline の詳細論文(名称は要旨からは不明) - 関連手法として Task and Motion Planning (TAMP) - 関連手法として LLM-based task planning - 関連手法として vision-language grounding - CENTAURO を用いた先行 bimanual manipulation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emanuele Cuzzocrea, Giuseppina Iannotti, Luca Rossini, Arturo Laurenzi, Nikos Tsagarakis

分類: cs.RO, cs.AI

原文アブストラクト

Robots are increasingly expected to execute natural-language manipulation tasks in real-world environments. This is particularly relevant in household assistance and logistics, where clutter requires reasoning about both task objectives and execution feasibility. This challenge becomes even more pronounced for bimanual humanoid platforms, where coordinating two manipulators introduces additional interaction and kinematic constraints. We present a zero-shot vision-language framework for execution-aware bimanual manipulation that jointly reasons about task objectives and physical feasibility. Planning is grounded in a structured scene representation that combines semantic object relations with execution constraints, enabling the selection of obstacle relocations and execution choices while preserving task semantics. Compatible actions are organised into parallel bimanual stages with explicit pre- and post-conditions. A hierarchical validator evaluates these conditions under perceptual uncertainty and uses stage-level execution history to support local recovery or targeted replanning. Experiments on the CENTAURO hybrid wheeled-legged humanoid robot across nine language-conditioned manipulation scenarios show higher task success than a non-execution-aware baseline. In dedicated failure scenarios, hierarchical validation recovers from execution failures with fewer model queries than always replanning. These results demonstrate the benefits of combining execution reasoning directly into task planning. Videos and additional material are available on the Project Webpage: https://advrhumanoids.github.io/bridging-planning-execution/.

arXivで原文を読む →arXiv概要ページ

言語指示による両腕マニピュレーションのためのタスク計画と実行の橋渡し

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事