AcrossVAM1.0: テキスト支援ロボット動画予測のための粒子世界モデリング

AcrossVAM1.0は、テキスト支援によるロボット動画予測のための軽量なビデオアクションモデルである。将来のフレーム予測をオブジェクト中心の動きと高周波の外観に分解し、凍結されたSAM3-DLPコーデックを用いて4つのコンテキストフレームをロボット、アーム、グリッパーのセマンティックパーティクルと背景潜在変数に分解する。0.28Mパラメータの時空間Transformerがパーティクルの同一性を整列させ、状態を前進させ、凍結されたOpenCLIPの指示埋め込みによってFiLM変調を受ける。因果的なデュアルストリームデコーダは、パーティクルレンダリングによる動きと、最後の観測フレームのみからエンコードされた外観を組み合わせ、残差リファイナと学習された配信マスクを用いて5つの将来フレームを生成する。

従来のモノリシックなピクセルモデルは、動きの推論と高周波外観の保存を絡め合わせ、強いラストフレームベースラインの背後に進歩を隠してしまう。AcrossVAM1.0は、動きと外観を明示的に分離し、軽量なパーティクルダイナミクスを導入することで、この問題に対処している。また、テキスト指示を利用して動きを変調する点も新しい。

手法の核は、凍結されたSAM3-DLPコーデックによるパーティクル分解、0.28Mパラメータの時空間Transformerによるパーティクル状態の前進、凍結OpenCLIPの指示埋め込みによるFiLM変調、そして因果的デュアルストリームデコーダによる動きと外観の合成である。外観は最後の観測フレームのみからエンコードされ、残差リファイナと学習された配信マスクが将来フレームを生成する。

VRSベンチマーク（多様な実ロボット軌跡から構築）で検証した。パーティクルダイナミクスにより軌跡誤差が持続予測と比較して21.0%減少した。3つの配信マスクシードで、将来フレームのPSNR/SSIMが19.97/0.796から20.573/0.8004に改善し、生のパーティクル生成は動き領域のPSNRを11.89から13.23に改善した。また、オラクル、ネガティブコントロール、マルチシード、ロボットごとの分析も行った。

配信されたモデルはLPIPSで持続予測を上回っておらず、正しい言語とシャッフルされた言語での軌跡誤差の差はわずか2.8〜3.1%である。これらの限界から、ロバストな言語接地と外観配信が主要な未解決課題であることが示唆される。

要旨で参照されている研究は明示されていないが、関連手法としてSAM3-DLP、OpenCLIP、およびビデオ予測におけるパーティクルベースの手法が挙げられる。次に読むべき論文としては、これらの基盤技術に関する論文が考えられる。