画像編集モデルによるロボット操作のスパース世界モデル「SWEET」を提案

何が起きたか

2026年5月19日にarxiv.orgで公開された論文「SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution」が、画像編集モデルを利用したスパース視覚世界モデルSWEETを提案した。SWEETは言語指示と矢印による空間ガイダンスに基づき、連続的な画像編集でタスク関連のキーフレームを生成し、目標条件付き拡散行動予測器で実行可能な行動チャンクに変換する。

詳細

論文では、ビデオ生成モデルWan2.2と画像編集モデルFLUX-Kontextを同一のロボットデータ設定で比較し、画像編集の方がタスクレベルのキーフレームをより信頼性高く生成し、視覚的忠実度が高く、推論コストが大幅に低いと報告している。SWEETはワンショットのスパース視覚プランニングフレームワークで、言語指示と任意の矢印ベースの空間ガイダンスに基づき、連続的な画像編集でタスク関連の操作キーフレームを段階的に生成する。さらに、実画像と編集された視覚サブゴールのミスマッチを減らすため、フィルタリングされた編集ターゲットを用いた混合トレーニング戦略を導入している。実験はDROIDとRoboMimicで行われ、見たことのあるシーンと見たことのないシーンの両方でキーフレーム予測が改善され、キーフレームプランニングから実行可能なロボット行動までの完全なパイプラインが可能になったとしている。

Key Facts

本紙の見方

今回の提案は、ロボット操作における視覚予測の新しい方向性を示すものだ。従来の視覚世界モデルは密なビデオ生成に依存することが多く、計算コストが高い。SWEETは画像編集モデルを用いることで、タスクに必要な少数のキーフレームのみを生成し、計算負荷を大幅に削減する。このアプローチは、操作タスクの進捗が少数の視覚状態で要約できるという観察に基づいており、効率的な視覚予測の可能性を切り開く。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及はできないが、ロボット学習における視覚予測の研究は近年活発であり、SWEETはその中で計算効率と実用性を重視した点で一歩進んだものと言える。 業界構造への含意としては、画像編集モデルの進化がロボットの模倣学習やタスクプランニングに応用される可能性が高まる。特に、FLUX-Kontextのような画像編集モデルは、テキストから画像を生成するモデルと比較して、既存の画像を編集する能力に優れており、ロボットの状態遷移を表現するのに適している。これにより、ロボット学習のデータ効率が向上し、実世界での展開が加速する可能性がある。 未確定の論点としては、SWEETの実ロボットへの適用時の性能、特に編集されたキーフレームと実環境の差異が行動生成に与える影響が挙げられる。論文では混合トレーニング戦略でこの問題に対処しているが、実環境での汎化性はさらなる検証が必要だ。また、画像編集モデルの推論コストが実際にどの程度削減されるのか、定量的な評価が待たれる。

なぜ重要か

SWEETは、ロボット操作における視覚予測の計算コストを削減しつつ、タスク実行の精度を維持する可能性を示した。これは、実世界のロボットシステムへの視覚世界モデルの実装を促進し、より効率的なロボット学習の実現につながる。