日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
プランニングarXiv:2610.29702

CausGround: 適応型身体性プランニングのための因果的相互作用グラウンディング

CausGround: Causal Interaction Grounding for Adaptive Embodied Planning

シェア:XThreadsFacebookLINEはてブBluesky

相互作用経験を行動中心の因果知識として抽出し、事前条件と効果に基づく後向き・前向き推論でMLLMの身体性プランニングを訓練なしに改善するフレームワーク。

詳しい要約

1. どんなもの?

- どんなもの? - MLLMs の推論を embodied planning に活かすための非パラメトリックな causal interaction grounding フレームワーク CausGround を提案 - 相互作用経験を再利用可能な action-centered causal knowledge に蒸留する - 行動の preconditions と effects を同定し、object attributes と inter-object relations を捉える factorized world-state representation に整理 - planning 時にタスク関連の causal dependencies を現観測に grounding し、preconditions への backward reasoning と effects への forward reasoning で行動選択・多段計画を支援

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存手法は環境ごとの高コストな学習を要するか、再利用しにくい unstructured interaction experience に依存 - CausGround は parameter updates 不要で多様な環境に適応できる点が特徴 - preconditions/effects を明示的な causal knowledge として構造化し再利用可能にした点 - MLLM backbone を問わず vision-based high-level planning を改善したと報告

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 相互作用経験から action preconditions と effects を抽出し causal knowledge 化 - object attributes と inter-object relations を分離した factorized world-state representation で表現 - planning 時に現観測へ causal dependencies を grounding - backward reasoning で preconditions を確認し、forward reasoning で effects を予測して行動選択・多段計画 - パラメータ更新なしの non-parametric 構成

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 適応した VirtualHome と RoboCasa ベンチマークで評価 - VirtualHome で vision-based high-level planning の平均タスク成功率が 24.9%→53.3% - RoboCasa で closed-loop planning 成功率が 43.0%→57.0% - SWITCH で interaction reasoning accuracy が 25.8%→31.9%(action selection, recovery, verification の改善を示唆) - 実世界ロボット manipulation で、MLLM が解釈した goal から backward reasoning し実行可能な high-level action sequences を導出

5. 議論はある?

- 議論はある? - 要旨からは不明(限界や失敗事例の詳細な議論は記載なし) - 示唆として、causal knowledge の抽出品質や環境依存性、長期計画での誤差蓄積などが論点になり得るが要旨には明記なし

6. 次に読むべき論文は?

- 次に読むべき論文は? - VirtualHome を用いた high-level planning 研究 - RoboCasa を用いた closed-loop planning 研究 - SWITCH ベンチマークの interaction reasoning 研究 - MLLM を embodied planning に用いる既存手法(要旨で比較対象として言及) - causal world model / action precondition-effect learning 関連の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijun Shen, Diqi He, Jinbang Guo, Wanyue Zhang, Jiaming Mi, Huan Yang, Zhongyuan Wang, Zhiwei Yu, Kai Zhang

分類: cs.RO

原文アブストラクト

Multimodal large language models (MLLMs) show promising reasoning capabilities, but reliable physical interaction requires planning that accounts for when actions are executable and how they change the world. These preconditions and effects are environment-dependent and often not captured by MLLMs, making adaptation challenging. Yet existing approaches either require costly environment-specific training or rely on unstructured interaction experience that is difficult to reuse. Therefore, we introduce CausGround, a non-parametric causal interaction grounding framework that distills interaction experience into reusable action-centered causal knowledge. CausGround identifies action preconditions and effects and organizes them in a factorized world-state representation capturing object attributes and inter-object relations. At planning time, task-relevant causal dependencies are grounded in current observations to support backward reasoning over preconditions and forward reasoning over effects for action selection and multi-step planning. We evaluate CausGround on simulated high-level planning, interaction reasoning, and real-world robot manipulation. On adapted VirtualHome and RoboCasa benchmarks, CausGround improves vision-based high-level planning across MLLM backbones, increasing average task success from 24.9% to 53.3% on VirtualHome and closed-loop planning success from 43.0% to 57.0% on RoboCasa. On SWITCH, average interaction reasoning accuracy increases from 25.8% to 31.9%, indicating improved action selection, recovery, and verification. Moreover, real-world experiments show that CausGround reasons backward from MLLM-interpreted goals to derive executable high-level action sequences for sequential manipulation. These results demonstrate that reusable action preconditions and effects support long-horizon embodied planning across diverse environments without parameter updates.

関連論文

PR本紙発行元 EmplifAI