動画生成モデルの事前表現を可変視点ロボット制御に転用するX-Worldを提案

何が起きたか

X-Worldを提案する論文が2026年10月25日にarXivで公開された。動画モデルの表現を固定長トークン列で共有アクションエキスパートへ渡し、1、2、3視点の入力に対応するロボット制御フレームワークである。論文はLIBEROで平均成功率98.5%、LIBEROで学習したチェックポイントが追加適応なしでLIBERO-Plusにおいて76.5%、実世界の双腕6タスクでは各タスク20試行で平均81.7%の成功率を報告した。

詳細

事前学習済み動画バックボーンに残差クロスビュー注意機構を加え、元の自己注意経路を保持する。層に対応させたQ-Formerで特徴を集約し、データセット固有モジュールを介して各データセット固有の状態・アクション形式と共有アクションエキスパートを接続する。学習では動画適応とアクションのみの事前学習を分け、後者では動画バックボーンを凍結した後、対象ドメインで共同ポストトレーニングを行う。方策は動画特徴を単一のバックボーン処理で抽出し、実行時には非同期のアクションチャンク化を用いる。論文の7種類のシフト別評価では、ロボット、言語、照明、レイアウトの変化で改善が見られた一方、カメラ、背景、ノイズの変化ではOpenVLA-OFTに対する弱点が示された。動画適応またはクロスビュー融合を除くアブレーションでは、検証した除去条件の中で成功率の低下が最も大きかった。

Key Facts

本紙の見方

この論文の中心は、動画モデルをロボット制御へそのまま接続するのではなく、固定長トークン列と共有アクションエキスパートを間に置き、視点数とロボットごとの状態・動作形式の違いを処理する構成にある。1〜3視点を扱うクロスビュー機構と、データセット別モジュールによる形式変換が組み合わされており、視覚表現の転用だけでなく、異なる入力・出力インターフェースを接続する設計が検証対象になっている。 評価結果は、LIBEROの98.5%に対し、追加適応なしのLIBERO-Plusでは76.5%となった。両者の差は、単一ベンチマークでの高い成功率と、環境が変わった条件での維持性能を分けて見る必要を示す。さらにシフト別評価では、ロボット、言語、照明、レイアウトの変化で改善した一方、カメラ、背景、ノイズではOpenVLA-OFTに対する弱点が残った。したがって「可変視点対応」は全ての視覚変化に対する頑健性と同義ではなく、入力視点の統合と背景・撮像条件への耐性は別々に評価すべき論点である。 学習手順も構造上の要点だ。動画適応とアクションのみの事前学習を分け、後者で動画バックボーンを凍結し、その後に対象ドメインで共同ポストトレーニングする。動画適応とクロスビュー融合を除いた場合の低下が、検証した除去条件で最も大きかったという結果は、動画表現の取り込みと視点融合が性能に関係することを示す。ただし、アブレーションは要素の寄与を示すもので、個々の構成が実機のどの失敗を防いだかまでは要約に記載されていない。 実世界では双腕6タスク、各20試行で平均81.7%を報告しており、シミュレーション外での評価を含む点は重要だが、対象タスク数と試行数を超えて異なるロボットや作業への一般化を結論づけることはできない。次に確認すべきなのは、視点数やカメラ配置ごとの成績、背景・ノイズ条件での失敗要因、実行時の遅延、対象ドメインの追加学習に必要なデータ量である。要約にある非同期アクションチャンク化についても、遅延や制御周期の数値は示されておらず、実機運用上の効果は別途検証が必要だ。

なぜ重要か

X-Worldは、1〜3視点の動画特徴を共有アクションエキスパートへ渡す構成で、LIBERO学習済みモデルが追加適応なしでLIBERO-Plusにおいて76.5%を達成したと報告している。ロボット制御の研究者にとって、動画表現の転用と視点・動作インターフェースの接続を同じ枠組みで評価する材料になる一方、カメラ、背景、ノイズの変化では弱点が報告されており、適用条件の見極めが要る。