TAMP/基盤モデル/部分観測2026/8/28arXiv:2608.28075v1

途中で計画する：部分観測操作におけるTAMP実行のためのイベントトリガ型基盤モデル計画

Plan Along the Way: Event-Triggered Foundation-Model Planning for TAMP Execution in Partially Observable Manipulation

部分観測環境での操作タスクに対し、可視状態のみで計画し、物体発見を再計画イベントとして扱うLLM/VLMベースのTAMPフレームワークを提案し、RLBench/CoppeliaSimで評価した。

詳しい要約

1. どんなもの？

部分観測環境下での操作タスクにおいて、初期プランが実行可能でもタスク完了に不十分な場合に対応するため、LLM/VLMガイドによるモジュール型TAMPフレームワーク「ROBUST TAMP」を提案。実行中にタスク関連・非対象オブジェクトが出現する状況で、可視のリレーショナルシーン状態に基づきプランニングし、オブジェクト発見を再プランニングイベントとして扱う。

2. 先行研究と比べてどこがすごい？

既存のfoundation-model-guided TAMPは完全なシーン状態を仮定するか、サブゴールや実行失敗後にモデルレベルで再プランニングする。ROBUST TAMPは、プランナーを現在可視のシーン状態に制限し、厳格な実行可能インターフェースで検証、シーン固有の実行アダプタにルーティングすることで、部分観測下での反応的な実行を可能にし、オブジェクト発見を独立した再プランニングイベントとして扱う点が新しい。

3. 技術・手法の肝は？

foundation-modelプランナーを可視のリレーショナルシーン状態に制限し、生成されたタスクレベルアクションを厳格な実行可能インターフェースで検証、受け入れられたアクションをシーン固有の実行アダプタにルーティング。オブジェクト発見を再プランニングイベントとして扱い、安定実行ホライズン後に完了アクション履歴と構造化再プランニングイベントコンテキストを用いて可視シーン状態を再構築し再プランニングする。

4. どうやって有効だと検証した？

RLBench/CoppeliaSimの6種類のキッチン・グリル変種（隠れオブジェクト、非対象オブジェクト発見、関節コンテナ操作、時間的操作手順を含む）で評価。テキストのみのLLMとVLMプランナーを異なるサイズで同一パイプライン下で比較し、タスク成功率、部分目標達成率、発見・失敗トリガー再プランニング挙動、暗黙的非対象オブジェクト処理、プランナー推論コストを報告。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、部分観測環境でのTAMPにおける再プランニングの頻度や、VLMとLLMの性能差、非対象オブジェクトの扱いなどが評価指標として挙げられており、これらのトレードオフが議論の対象となり得る。

6. 次に読むべき論文は？

要旨で参照されている既存のfoundation-model-guided TAMPシステム（具体的な論文名は不明）や、関連するLLM/VLMを用いたタスクプランニング、部分観測下でのTAMP、オブジェクト発見に基づく再プランニングに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Puru Ojha, Narendhiran Vijayakumar, Nav Singhal, Girish Varma, Antony Thomas

分類: cs.RO

原文アブストラクト

Manipulation in partially observable environments requires planning under incomplete scene information. In such settings, an initially valid plan may execute successfully yet remain insufficient for task completion. Existing foundation-model-guided task and motion planning (TAMP) systems can generate useful long-horizon task decompositions, subgoals, or constraints, but they often assume having access to a fully specified scene state or invoke model-level replanning after a subgoal, refinement, or execution attempt fails. We present ROBUST TAMP, a modular LLM/VLM-guided planning framework for reactive TAMP where unseen task-relevant and non-target objects may become visible during execution. The framework restricts the foundation-model planner to the currently visible relational scene state, validates generated task-level actions against a strict executable interface, and routes the accepted actions to scene-specific execution adapters. Object discovery is treated as a distinct replanning event and, after a stable execution horizon, the system reconstructs the visible scene state and replans using completed-action history and structured replanning event context. Evaluations are performed on six RLBench/CoppeliaSim kitchen and grill variants involving hidden objects, non-target object discovery, articulated-container interaction, and temporal manipulation procedures. We compare text-only LLM and VLM planners of different sizes under the same validation, execution, monitoring, and replanning pipeline, reporting task success, partial goal completion, discovery- and failure-triggered replanning behavior, implicit non-target-object handling, and planner inference cost.

arXivで原文を読む →arXiv概要ページ

← 論文一覧