World Action Modelsに必要な視覚表現とは何か

- World Action Models (WAMs) の視覚表現を体系的に比較する研究。 - pretrained video generation model 由来の VAE 表現は manipulation 向けでない。 - 外部視覚表現、5つの統合機構、特徴組み合わせを制御条件下で比較。 - 結果を R$^2$-WAM として実装。

- 既存研究は表現選択と統合機構が結合し個別効果が不明瞭。 - 本研究は表現・統合機構・特徴組み合わせを分離して比較。 - 汎用視覚表現が特定能力向け事前学習表現に匹敵/上回ることを示す。 - channel-wise joint prediction が最高平均成功率。

- 5つの統合機構と特徴組み合わせを制御条件下で比較。 - channel-wise joint prediction を採用。 - future-feature prediction と action expert の視覚情報活用が寄与。 - タスク関連情報を既存表現に追加する特徴選択。 - 結果を Representation Recipe として R$^2$-WAM に実装。

- RoboCasa GR1 Tabletop で 84.7% 成功率 (VAE-only 比 +5.9pt)。 - RoboTwin 2.0 で 92.8% (VAE-only 比 +2.2pt)。 - state-of-the-art 性能を達成。 - 制御条件下での体系的比較により有効性を検証。

- 最良の組み合わせでも、汎用表現追加の初期改善より追加利得は小さい。 - 同じ情報源が組み合わせによって助けにも害にもなる。 - 今後の優先はより強い汎用視覚表現と効果的な統合機構。 - 特徴組み合わせは補助的経路。

- 要旨で参照/比較されている研究: pretrained video generation models, VAE-only baselines, RoboCasa GR1 Tabletop, RoboTwin 2.0。 - 関連手法: World Action Models (WAMs), variational autoencoder (VAE), channel-wise joint prediction, future-feature prediction, action expert。 - 同分野の定番: 視覚表現学習、ロボット manipulation のための表現統合。