何が起きたか
arXivに2026-10-09付で掲載された論文「What Visual Representations Do World Action Models Need?」は、World Action Models（WAMs）について、VAE表現と外部の視覚表現、5種類の統合機構、特徴量の組み合わせを制御条件下で比較した。論文は、一般用途の強い視覚表現がロバスト性を広げ、特定能力向けの事前学習表現に匹敵または上回りうると述べる。提案したRepresentation RecipeをR^2-WAMとして実装し、RoboCasa GR1 Tabletopで84.7%、RoboTwin 2.0で92.8%の成功率を示した。
詳細
論文は、VAEの表現が視覚再構成向けに最適化されており、操作には外部の視覚表現が有効になりうる一方で、従来法は表現の選択と統合機構が結び付いており、個別の効果が見えにくいと位置づけている。そのうえで、5種類の統合機構を比較し、チャネル単位のjoint predictionが平均成功率で最も高かったと報告した。 また、追加の情報源は既存表現にない課題関連情報を与えるものを選ぶべきだとし、同じ情報源でも組み合わせによって有利にも不利にもなりうると指摘した。最良の構成でも、強い一般用途の視覚表現をVAEのみのベースラインに加えた初期改善より小さい追加効果にとどまったとしている。
Key Facts
| 論文名は「What Visual Representations Do World Action Models Need?」である。 | [1] |
| 掲載日は2026-10-09である。 | [1] |
| World Action Models（WAMs）は、事前学習済み動画生成モデルの事前知識を引き継ぐ一方、VAE表現は視覚再構成向けに最適化されていると論文は述べている。 | [1] |
| 論文は、表現種別、5種類の統合機構、特徴量の組み合わせを制御条件下で比較した。 | [1] |
| R^2-WAMはRoboCasa GR1 Tabletopで84.7%、RoboTwin 2.0で92.8%の成功率を示した。 | [1] |
本紙の見方
この論文の新しさは、World Action Models（WAMs）の性能を「どの視覚表現がよいか」だけでなく、「それをどう統合するか」まで分けて検証した点にある。操作モデルでは表現と結合方法が一体で語られがちだが、ここではVAE、外部視覚表現、5種類の統合機構、特徴量の組み合わせを切り分け、どの寄与が効くかを比較している。結果として、主役は新しい統合トリックというより、強い一般用途の視覚表現を足すことそのものだと読める。 むしろ、同じ追加情報源でも組み合わせ次第で効き方が変わり、最良構成でも追加改善は初期のVAE-onlyからの改善を上回らない点が重要である。これは、WAMの性能向上が表現の質、統合機構、そしてタスクに対してどの情報を追加するかの3点で決まることを示唆する。 業界構造への含意としては、ロボット操作の改善余地が、モデル本体の大規模化だけではなく、視覚表現の選定と情報統合の設計に依存している点が挙げられる。つまり、動画生成系の事前学習モデル由来の表現をどう取り込むか、タスク関連情報をどう補うか、という入力段階と融合段階の設計が性能差を生みやすい。RoboCasa GR1 TabletopとRoboTwin 2.0でそれぞれ84.7%、92.8%という結果は、評価先の環境によって有効な表現の条件が変わる可能性も示している。 未確定の論点は、どの具体的な視覚表現が各タスクに最適なのか、また5種類の統合機構のうち各条件でどの組み合わせが再現性高く効くのかである。論文は平均成功率やベンチマーク結果を示すが、実運用での計算コスト、データ要件、他のロボット群への一般化条件までは示していない。
なぜ重要か
WAMの性能向上が、VAEだけではなく外部視覚表現の選択と統合方法に左右されると論文は示している。ロボット操作の開発では、どの表現をどの方式で混ぜるかが成果を分けるため、モデル設計の焦点が学習器単体から表現設計へ広がる。