PointCast: 剛体・関節・変形物体操作のための単一世界モデル

- ロボットマニピュレーション向けの point-set world model『PointCast』を提案。 - 状態は物体と end-effector 上の 3D 点集合で、mesh-free かつ topology-agnostic。 - rigid、articulated、deformable の 3 種の操作を単一アーキテクチャで扱う。 - 各点は identity を保持し、自身の trajectory で supervised される。 - backbone は diffusion transformer で、未来の点位置の短い window を denoise する。 - 19.8M parameters の 1 アーキテクチャと 1 training recipe で 4 regimes をカバー。

- 単一アーキテクチャで rigid、cloth、rope、multi-joint cabinets の 4 regimes をカバーする点が特徴。 - 各 regime ごとに separate checkpoint を訓練する方式。 - randomized simulation で訓練し、同一 metric で 4 baselines と比較。 - 4 regimes 中 3 つで最良、rigid では 2 番目の性能。 - real-world robot teleoperation dataset では 6 カテゴリ中 4 つで最低 mean error、残り 2 つで 2 番目。 - 同 dataset の own model を 6 カテゴリすべてで改善。 - zero-shot では simulation checkpoints が 4 captures 中 2 つで最良。

- 状態を物体と end-effector 上の 3D 点集合として表現し、mesh や topology に依存しない。 - 各点が identity を保持し、自身の trajectory で supervised される。 - これにより形状だけでなく各点の行き先を学習する。 - backbone は diffusion transformer で、未来の点位置の短い window を denoise。 - 条件は点の recent history と commanded end-effector motion。 - attention は local と global を交互に用い、end-effector への cross-attention が coupling を担う。

- randomized simulation で訓練し、同一 metric で 4 baselines と比較。 - 4 regimes 中 3 つで最良、rigid で 2 番目。 - real-world robot teleoperation dataset で評価し、6 カテゴリ中 4 つで最低 mean error、残り 2 つで 2 番目。 - 同 dataset の own model を 6 カテゴリすべてで改善。 - zero-shot で simulation checkpoints が 4 captures 中 2 つで最良。 - sampling-based model-predictive control 内に frozen で組み込み、1 window あたり 1 回の network evaluation で 4 simulated tasks を 64 episodes 計画。 - 各タスクで全 baseline と competitive または上回る。

- 要旨からは不明。 - 限界、失敗事例、計算コスト、汎化性に関する議論は要旨に記載がない。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として diffusion transformer、model-predictive control、world model の同分野定番を挙げる。 - 具体的な論文名は要旨からは不明。