SyncWorld: 視覚キャリブレーションによるワールドモデルのゼロショットシミュレータ化

SyncWorldは、未見の環境に対して追加学習なしでゼロショットのシミュレータとして機能する、アクション条件付きワールドモデルを提案する。ロボットのアクションはピクセル空間で普遍的な言語ではなく、視覚環境やカメラ視点、ロボット配置、embodimentの変化により同じ数値アクションの視覚的現れ方が変わる。SyncWorldは、視覚的キャリブレーションエピソード（対になったフレームとアクション）を用いて、セットアップ固有のAction–Visual Mappingをコンテキストで指定する。

従来のワールドモデルは、ロボットアクションに対する細かい制御性が必要だが、アクションの視覚的影響が環境によって異なるため、混合トレーニングで矛盾した監視が生じ、展開時に脆い一般化を招く。SyncWorldは、視覚的キャリブレーションコンテキストを導入することで、この問題を解決し、未見の環境へのゼロショット適応を可能にする点が新しい。

SyncWorldは、視覚的キャリブレーションエピソード（対になったフレームとアクション）をコンテキストとして利用し、セットアップ固有のAction–Visual Mappingを学習する。トレーニング中に視覚的キャリブレーションコンテキストを用いることで、モデルは視覚的証拠を通じてアクションを解釈し、明示的なキャリブレーションがない場合には相互作用履歴を活用することを学ぶ。

実験では、SyncWorldが未見の設定でアクション結果を正確にシミュレートできることを示し、さらに、そのロールアウトシミュレーション能力が、トレーニングなしでのテスト時ポリシー改善を可能にすることを実証した。

要旨からは、限界や議論についての詳細は不明。ただし、視覚的キャリブレーションが利用できない場合の性能や、複雑な環境でのスケーラビリティなどが潜在的な課題として考えられるが、要旨には明記されていない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、action-conditioned world models（例：Dreamer, IRIS）や、visual calibration、zero-shot generalizationに関する研究が挙げられる。