何が起きたか
arXivに2026年11月14日掲載された論文「ResWAM: Learning What Changes, Not What Stays, for World-Action Models」は、ロボットの行動による環境の変化を特徴空間で学ぶモデルを提案した。モデル全体は23億パラメーターで、LIBERO-Plusで81.1%、RoboTwin 2.0で93.8%、RoboDojoで成功率9.40%、スコア13.41を報告した。ロボット実機のOpen、Put、Stackでは平均成功率80.0%、レイテンシ92.7ミリ秒で、論文はπ₀.₅に対して成功率が10.0%高いとしている。
詳細
提案手法は、凍結したDINOv3の特徴空間で、現在フレームから将来フレームへの特徴変化だけを教師信号にする「visual residual learning」。論文によると、将来の特徴全体を予測する方式に比べ、表現のランクが高く、シーンの変化をより多様に表し、背景よりもロボットアームや操作対象物に空間的に集中する。ResWAMは総計23億パラメーターで、そのうち軽量な二分岐DiTは5億パラメーター。条件付きフローマッチングを用いて行動ブランチと残差ブランチを共同学習する。 論文は、ベンチマークのデモンストレーション以外のロボット行動軌跡を使う事前学習なしで評価したと説明する。学習計算量は2.7~4.0 TFLOPs、推論計算量は1.0~1.4 TFLOPsとし、いずれも論文が比較した方式の中で最小と報告した。実機評価の「Open」「Put」「Stack」は論文記載のタスク名である。
Key Facts
| 論文「ResWAM: Learning What Changes, Not What Stays, for World-Action Models」の掲載日は2026年11月14日。 | [1] |
| ResWAMは総計23億パラメーターで、軽量な二分岐DiTは5億パラメーター。 | [1] |
| LIBERO-Plusで81.1%、RoboTwin 2.0で93.8%、RoboDojoで成功率9.40%、スコア13.41を報告した。 | [1] |
| 実機のOpen、Put、Stackで平均成功率80.0%、レイテンシ92.7ミリ秒を報告した。 | [1] |
| 学習計算量は2.7~4.0 TFLOPs、推論計算量は1.0~1.4 TFLOPsと報告した。 | [1] |
本紙の見方
ResWAMの焦点は、将来の観測画像を丸ごと再現する予測から、行動で変わる部分を特徴空間で学習する方式へ、教師信号の置き方を変えた点にある。論文は、行動区間の前後で観測の大部分が変化しない場合、画像全体を対象とする損失が背景のコピーに偏り、ロボットや物体の動きを学びにくいと問題設定する。凍結したDINOv3特徴の差分を対象にする設計は、その問題に対する具体的な対応であり、単にモデルを小さくする提案とは異なる。 構成面では、総計23億パラメーターのうち、行動と残差を共同学習する二分岐DiTが5億パラメーターを占める。計算すると約21.7%に当たるが、残る部分の構成や各部の計算量は提示された情報からは分からない。重要なのは、行動出力と将来の変化予測を別々の大規模モデルに委ねるのでなく、一つの軽量な二分岐モジュールで学習する構造を示したことだ。論文が挙げる既存方式の計算負荷と閉ループ運用の障壁に対し、計算量を抑えながら予測を行動学習に結びつける狙いと読める。 結果はベンチマーク3種と実機タスクで示され、実機では平均成功率80.0%と92.7ミリ秒のレイテンシが報告された。これは、特徴差分を用いる学習がシミュレーション上の指標だけでなく実機評価にも接続したことを示す一方、特定のタスク群での結果であり、異なるロボット構成や環境への一般化を裏づけるものではない。論文はロボット事前学習なしとするが、実機評価に使ったデータ量やタスクごとの成功率、比較条件の詳細は、ここで確認できる記載には含まれていない。 業界への含意は、世界モデルの導入可否をモデル規模だけで測れない点にある。ResWAMは、背景を含む全観測の予測精度ではなく、操作対象とアームの変化を表現する学習目標と、学習・推論計算量を合わせて提示した。閉ループ運用で実際に有効かを判断するには、報告された計算量とレイテンシの測定条件、制御周期との関係、タスクや環境を変えた際の性能、失敗時の挙動を確認する必要がある。これらが示されなければ、低い計算量の報告をそのまま広範な実運用可能性に読み替えることはできない。
なぜ重要か
論文は、将来画像全体の予測では背景のコピーに損失が偏りうるとして、ロボットや操作対象物の変化を学習する方式を提示した。実機のOpen、Put、Stackで平均成功率80.0%、レイテンシ92.7ミリ秒を報告しており、世界行動モデルを閉ループ制御に用いる際の計算負荷と動作性能を検討する材料になる。
