世界モデル/計画2026/8/23arXiv:2608.22294

インスタンススロットを超えて：物理的相互作用計画のための意味的に豊かな世界モデル

Beyond Instance Slots: Semantically Rich World Models for Physical Interaction Planning

物理的相互作用の計画に適した、タスクの役割（グリッパー、ターゲット、ゴール、関係、フェーズ）を明示的に扱う世界モデルSR-WMを提案し、行動生成や再ランキングに活用する。

詳しい要約

1. どんなもの？

本論文は、物理的インタラクションの計画に特化したSemantically Rich World Model (SR-WM)を提案する。従来のWorld Modelが将来の観測や潜在特徴の予測に焦点を当てるのに対し、SR-WMはタスク整合的な未来を生成するかどうかという計画指向の問いに答える。モデルはgripper, target, goal, relation, phaseの5つの機能的役割に基づいて構造化され、視覚エンティティエンコーダが事前学習済みパッチ特徴からソフトなエンティティ仮説を抽出し、ロールバインダーがそれらをタスク固有の役割にマッピングする。アクション条件付きダイナミクスモデルは、把持/接触、述語確立、関係保存、固定具状態、位相変化などの微細なセマンティクスとともに役割遷移を予測する。この統合された役割状態は、下流のマルチ候補アクション生成、ステージ認識リランキング、違反認識サフィックスリサンプリングを支える。

2. 先行研究と比べてどこがすごい？

先行研究の多くは、単一のモノリシックな状態表現を用いて将来予測を行うか、インスタンスレベルのオブジェクトスロットを用いてエンティティの存在を識別するが、タスクコンテキストにおける各エンティティの役割を明示しない。SR-WMは、役割ベースの構造化を導入し、エンティティの存在だけでなく、その機能的役割を予測することで、計画指向の意思決定と視覚ダイナミクスを橋渡しする点が新しい。また、セグメンテーションマスクを必須の状態表現や推論入力とせず、オプションの提案事前分布として扱う柔軟性も特徴的である。

3. 技術・手法の肝は？

SR-WMの核となる技術は、視覚エンティティエンコーダ、ロールバインダー、アクション条件付きダイナミクスモデルの3つのコンポーネントからなる。視覚エンティティエンコーダは、事前学習済みパッチ特徴からソフトなエンティティ仮説を抽出し、セグメンテーションマスクをオプションの提案事前分布として利用できる。ロールバインダーは、これらの仮説をタスク固有の役割（gripper, target, goal, relation, phase）にマッピングする。ダイナミクスモデルは、アクションに条件付けられて役割遷移を予測し、把持/接触、述語確立、関係保存、固定具状態、位相変化などの微細なセマンティクスを出力する。この統合された役割状態は、マルチ候補アクション生成、ステージ認識リランキング、違反認識サフィックスリサンプリングのための基盤となる。

4. どうやって有効だと検証した？

検証は包括的な評価プロトコルに基づいて行われ、4つのLIBEROシミュレーションスイートすべて、クロススイート転送、知覚診断、アクション感度分析を含む。具体的な結果は要旨に明記されていないが、これらの評価により、提案手法が計画指向のタスクにおいて有効であることを示していると推測される。

5. 議論はある？

要旨からは、提案手法の限界や議論についての詳細は不明である。ただし、役割ベースの状態表現が複雑なタスクにどのようにスケールするか、実世界のロボットへの適用可能性、セグメンテーションマスクのオプション性が性能に与える影響などが議論の対象となり得る。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連する分野として、オブジェクト中心表現を用いたWorld Model（例: Object-Centric World Models）、タスク条件付き計画（例: Task-Conditioned Planning）、およびLIBEROベンチマークを用いた研究が挙げられる。具体的には、Goyal et al.のObject-Centric World Modelsや、LIBEROベンチマークを提案した論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juntao Cheng, Jingkai Wang, Yijun Shen, Xiansheng Chen, Zhiwei Yu

分類: cs.RO

原文アブストラクト

World models for physical interaction are typically trained to predict future observations or latent features; however, a planning-oriented model must answer a fundamentally different question: whether a candidate action produces a task-consistent future while preserving essential relations.Monolithic state representations obscure the underlying entities, while standard instance-level object slots merely identify \emph{what} is present without specifying \emph{what role} each entity plays in the task context. To bridge this gap, we present the Semantically Rich World Model (SR-WM), a task-conditioned world model structured around five functional roles: gripper, target, goal, relation, and phase.Within SR-WM, a visual entity encoder extracts soft entity hypotheses from pretrained patch features, allowing segmentation masks to serve as optional proposal priors without mandating them as required state representations or inference inputs.A role binder subsequently maps these hypotheses to task-specific roles, while an action-conditioned dynamics model predicts role transitions alongside fine-grained semantics, including grasp/contact, predicate establishment, relation preservation, fixture state, and phase change.Crucially, this unified role state grounds downstream multi-candidate action generation, stage-aware reranking, and violation-aware suffix resampling.Our comprehensive evaluation protocol spans all four LIBERO simulation suites, cross-suite transfer, perception diagnostics, and action-sensitivity analysis.Ultimately, this formulation transforms object-centric prediction into a semantic interface linking visual dynamics with planning-oriented decision making.

arXivで原文を読む →arXiv概要ページ