PDDL-ART: デモンストレーションからの自律的シンボリック抽象化による長期的ロボット操作のための視覚言語モデル

PDDL-ARTは、単一の専門家デモンストレーション、自然言語のタスク記述、利用可能な高レベルアクション名のライブラリから、タスク固有のPDDLドメインと問題記述を自律的に生成するフレームワークである。Vision-Language Model (VLM)を基盤とし、ドメインテンプレートやアクションシグネチャ、ファインチューニングを必要としない。生成された記述が構文的に有効で、デモンストレーションされたタスクと意味的に整合することを保証するため、構文・意味・実行レベルの多段階修正パイプラインを導入する。特に、実行ガイド付き修正の鍵となるシンボリック述語グラウンディングでは、視覚観察のみに頼らず、現代のVLMのツール使用能力を活用して幾何的・時間的推論を行い、画像だけでは直接判別できない関係述語を評価する。モデルはツールをいつ呼び出すか、その出力をどう解釈するかを自律的に決定する。

従来のPDDLドメイン構築は専門知識を要する手作業がボトルネックであり、既存の自動生成手法はドメインテンプレートやアクションシグネチャ、ファインチューニングを必要とすることが多い。PDDL-ARTはこれらを一切不要とし、単一のデモと自然言語記述から直接PDDLを生成する点で革新的である。また、VLMベースのプランナーと比較して、実行ガイド付き修正とシンボリック述語グラウンディングにより、視覚的に区別できない目標状態や抽象的な述語推論を必要とするタスクで高い成功率を達成している。

PDDL-ARTの手法の肝は、多段階修正パイプラインとシンボリック述語グラウンディングにある。まず、VLMを用いてデモとタスク記述から初期のPDDLドメインと問題を生成する。次に、構文レベルでPDDLの構文チェック、意味レベルで自然言語との整合性チェック、実行レベルでプランを実際に実行して検証する。実行ガイド付き修正では、視覚観察だけでは不十分な関係述語（例：物体の内部状態や時間的関係）を評価するために、VLMのツール使用能力を活用し、幾何的・時間的推論を行う。モデルはツールの呼び出しタイミングと出力解釈を自律的に決定する。

エンジンメンテナンスと家庭用ドメインの挑戦的な操作タスクで評価した。タスクには、記憶を必要とするもの、抽象的な述語推論を必要とするもの、初期状態と視覚的に区別できない目標状態を持つものが含まれる。PDDL-ARTは平均成功率93.3%を達成し、ベースラインのVLMベースプランナーの78.3%を上回った。

要旨からは、PDDL-ARTの限界や議論についての詳細は不明である。ただし、VLMのツール使用に依存するため、ツールの精度やモデルの判断が結果に影響する可能性が考えられる。また、単一のデモからの生成であるため、デモの質や多様性が性能に影響する可能性がある。さらに、評価は特定のドメインに限定されており、一般化についてはさらなる検証が必要かもしれない。

要旨で参照されているベースラインのVLMベースプランナーに関する論文が挙げられる。また、関連手法として、PDDLドメイン自動生成の既存研究や、VLMを用いたロボット操作プランニングの研究が考えられる。具体的には、PDDLドメイン生成のためのLLMベースの手法や、VLMを用いたタスクプランニングの研究が関連する。