知覚・予測・計画：自己中心的な巧みな操作のための統合ワールドアクションモデル

- 一人称視点の dexterous manipulation のための unified world action model である P$^{3}$-WAM を提案。 - 3つのモード: Perceive は video から articulated hand motion と camera trajectory を再構成。 - Predict は指定された action 下での visual future を生成。 - Plan は初期画像・language instruction・任意の visual goal を条件に action trajectory と予期される visual consequence を同時生成。 - 3D perception、action-conditioned prediction、goal-directed planning を統合的に学習する。

- 単一モード学習と比べ、unified training が3能力すべてを改善。 - VLM 評価で planning quality が向上。 - 4つの dataset で 3D hand reconstruction と action-conditioned video prediction において specialized baseline を上回る。 - video-generation baseline より instruction adherence と action progression が強い goal-directed manipulation video を生成。

- compact で structured な 3D action representation を pretrained video diffusion transformer に統合。 - mixture-of-transformers architecture を採用し、shared base weights、modality-specific adaptation、bidirectional visual-action attention を備える。 - randomized modality visibility により、video と 3D action が3モード間で conditioning context または prediction target として機能可能。

- 4つの dataset で 3D hand reconstruction と action-conditioned video prediction を評価。 - unified training と single-mode training を比較し、3能力の改善を確認。 - VLM 評価で planning quality の向上を検証。 - goal-directed manipulation video の instruction adherence と action progression を video-generation baseline と比較。

- 要旨からは不明。

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、video diffusion transformer、vision-language model、dexterous manipulation の世界モデル、action-conditioned video prediction に関する研究が挙げられる。