日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
移動マニピュレーションarXiv:2611.03584

TAMPAgent：移動マニピュレーションのためのエージェント型信念空間プランニング

TAMPAgent: Agentic Belief-Space Planning for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

LVLMエージェントの推論とTAMPの制約充足を統合し、部分観測下で移動マニピュレーションを計画・実行するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 開放環境での mobile manipulation を対象とした agentic planning フレームワーク TAMPAgent の提案 - LVLM agent の推論能力と TAMP の構造的制約満足を統合する - 部分的観測下で belief-space planning model を LVLM agent に持たせる - perception・planning・control ツールの拡張可能な API 上で動作する - 観測と操作を交互に繰り返す closed-loop プロセスを構成する

2. 先行研究と比べてどこがすごい？

- 直接 tool calling に頼る既存 LVLM agent は幾何的不確実性に弱く、完全観測の tabletop 環境に限定されていた - TAMP は部分的観測下の long-horizon タスクを解けるが計算コストが高く closed world を要求する - TAMPAgent は LVLM の open-world 推論と TAMP の制約満足を統合し、両者の限界を補う - 非構造・部分的観測環境での mobile manipulation に拡張した点が新しい

3. 技術・手法の肝は？

- LVLM agent が parameterized な observation/execution action からなる partial task plan を立案する - その plan を classical search algorithms で完成させる - plan の幾何制約を抽出し、tool API を用いて有効なパラメータ値を bind する - feasibility 要件を満たす実行可能な motion plan を生成する - 実行中に belief history を継続更新し、観測と操作を interleave して closed-loop を繰り返す

4. どうやって有効だと検証した？

- Rainbow Y1 と Unitree G1 のプラットフォーム上で評価 - 複雑な household mobile manipulation タスクを対象とする - 直接 tool calling する agentic baseline と比較し、TAMPAgent が有意に優れることを示す - TAMP の制約満足を agentic planning loop に統合することの重要性を実証

5. 議論はある？

- 非構造・部分的観測環境では TAMP 制約満足の agentic planning loop への統合が不可欠と主張 - 計算コストや closed world 要求など TAMP 側の課題への具体的対処は要旨からは不明 - 失敗事例や限界、スケーラビリティの議論は要旨からは不明

6. 次に読むべき論文は？

- 直接 tool calling を行う既存 LVLM agent の研究（baseline として比較） - TAMP（Task and Motion Planning）の古典的手法 - LVLM を用いた embodied agent / robotic planning の関連研究 - belief-space planning に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Utkarsh A. Mishra, Alperen Degirmenci, Yongxin Chen, Danfei Xu, Tucker Hermans, Caelan Garrett

分類: cs.RO

原文アブストラクト

Open-world robotic mobile manipulation requires acting in physical environments with only partial information. While recent Large Vision-Language Model (LVLM) agents show strong open-world reasoning capabilities, existing architectures that rely on direct tool calling struggle with geometric uncertainty and thus are limited to fully-observable tabletop environments. In contrast, Task and Motion Planning (TAMP) systems can solve long-horizon tasks under partial observability but incur high computational costs and require closed worlds. We propose \textbf{TAMPAgent}, an agentic planning framework that unifies the reasoning of LVLMs with the structured constraint satisfaction of TAMP systems. We endow an LVLM agent with a belief-space planning model operating over an extensible API of perception, planning, and control tools. The agent formulates a partial task plan composed of parameterized observation and execution actions, which is subsequently completed using classical search algorithms. After extracting the plan's geometric constraints, the agent leverages its tool API to bind valid parameter values, satisfying feasibility requirements and producing an executable motion plan. Upon execution, the agent continuously updates its belief history and repeats this closed-loop process by interleaving observation and manipulation actions. Evaluated across complex household mobile manipulation tasks on Rainbow Y1 and Unitree G1 platforms, TAMPAgent significantly outperforms direct tool-calling agentic baselines, demonstrating that integrating TAMP constraint satisfaction into agentic planning loops is essential for unstructured, partially observable environments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI