PrismWAM：ワールドアクションモデルにおける状態表現の分離

- 本論文は World Action Models (WAMs) における『状態表現』の設計を問い直す研究。 - 従来 WAMs は pretrained video models の latent embeddings で世界を表現し、見た目(texture/color)と物理的配置(occupancy/pose)が絡み合う問題を指摘。 - 世界状態を『見え方(semantics)』と『行動下での変化(physics)』に分離すべきと主張。 - 提案手法 PrismWAM は physics と semantics を切り離しつつ state と action を同時にモデル化する。 - Semantic Planning → Physical Rollout → Executable Action のパイプラインで embodied task を分解する枠組み。

- 従来 WAMs は video model の latent embedding に外観と物理配置が混在し、状態の構成要素が未検討だった点を問題化。 - PrismWAM は『世界がどう見えるか』ではなく『行動にどう応答するか』をモデル化する方向へ再定義する点が新しい。 - embodied action pretraining や追加の data augmentation を用いずに、simulation と real world で強い manipulation 性能を達成。 - 大規模 embodied action pretraining を持つ OpenWAM-α など幅広いモデルを上回ったと報告。 - ただし具体的な比較対象や数値の詳細は要旨からは不明。

- 初期 RGB 観測のみを入力とし、Semantic Planning で最終 goal image を予測する。 - Physical Rollout では goal に向かう fine-grained な変化を depth space で予測する。 - depth rollout から executable actions を生成する三段構成。 - 設計の肝は semantics(見え方・文脈)と physics(物理状態・変化)の分離、および state と action の同時モデリング。 - 具体的なネットワーク構成や学習損失の詳細は要旨からは不明。

- simulation と real world の両方で manipulation 性能を評価したと記載。 - embodied action pretraining や追加 data augmentation なしで強い性能を達成したと報告。 - OpenWAM-α を含む大規模 embodied action pretraining モデル群を上回ったと主張。 - 具体的なタスク設定、ベースライン、評価指標、定量結果は要旨からは不明。

- 世界状態を『見え方』と『行動への応答』に分ける設計思想の妥当性が中心的議論。 - WAMs を how the world looks から how it responds to action へ再枠組みする提言。 - occupancy、flow、tactile sensing、proprioception などに基づく action-centric world models への拡張可能性を示唆。 - 限界や失敗事例、depth 表現の十分性、real world 評価の詳細は要旨からは不明。

- OpenWAM-α(要旨で比較対象として明示)。 - pretrained video models を latent state に用いる一般的な World Action Models (WAMs)。 - depth を用いた manipulation や physical rollout に関する研究(具体名は要旨からは不明)。 - occupancy・flow・tactile sensing・proprioception に基づく action-centric world models 関連研究。