ワールドアクションモデルのための選択的クロスビュー整合性：テスト時カメラ情報なしでの未見視点ロバスト性

本研究は、World Action Models (WAMs) におけるカメラ視点変化に対するロバスト性向上を目的とする。WAMsは将来のビデオフレームとロボットのアクションを同時にdenoiseし、ビデオ事前分布が制御の一般化に寄与する。カメラ視点の変化は最も困難な摂動軸の一つである。本研究では、同一状態のクロスビュー画像ペアで訓練する際、どの出力座標にconsistency lossを課すべきかを問う。WAMのdenoising targetは、view-covariant座標（予測される未来シーン）とview-invariant座標（アクションチャンク、将来のproprioception、value）を混在させる。covariantブロックへのconsistency適用は有害であり、正当な視点固有コンテンツを真の値の1/(1+4λ)に縮小することを証明し、制御実験で検証した。提案手法Selective Cross-View Consistency (SCVC)はinvariantブロックのみを制約し、カメララベル、extrinsics、depth、view synthesisを訓…

先行研究では、カメラ視点ロバスト性を向上させるために、カメララベルやextrinsics、depth、view synthesisなどの追加情報を利用する手法が一般的であった。また、consistency lossを全出力座標に適用する単純なアプローチも考えられるが、本研究は理論的にcovariantブロックへのconsistencyが有害であることを示し、invariantブロックのみに制約することを提案した点が新しい。さらに、評価プロトコルとして、分布内の天井と真の補間・外挿を分離するcarve-and-hold-outプロトコルを導入し、ペア訓練による効果を分離するmatched controlを設定した点も先行研究と異なる。

手法の肝は、WAMのdenoising targetをview-covariant座標（未来シーン）とview-invariant座標（アクションチャンク、将来のproprioception、value）に分離し、consistency lossをinvariantブロックのみに適用する点。理論的解析により、covariantブロックへのconsistencyは正当な視点固有コンテンツを1/(1+4λ)に縮小することを証明。SCVCはカメラ情報を一切使わず、訓練時とテスト時のインターフェースを変更しない。また、評価プロトコルとして、LIBERO-Plusカメラトラックを用いたcarve-and-hold-out評価を導入し、分布内の天井と真の補間・外挿を分離。matched pair-trained controlにより、consistency項の効果をペア露出から分離。

有効性の検証は、LIBERO-Plusカメラトラックを用いた閉ループ実験で行われた。訓練範囲外のheld-out orbital viewpointsにおいて、SCVCはmatched controlに対して成功度を12.2ポイント（95% CI [7.4, 17.0]）改善し、独立した第2シードでは+15.5ポイント（CI [11.7, 19.4]）改善。この効果はさらに2つのカメラ軸でも再現された。一方、訓練範囲内の補間では改善は見られず（-1.2および-4.3ポイント）、分布内の能力は維持された（-0.6, -0.2）。また、クロスバックボーン監査により、公開されているカメラロバスト性の数値が手首カメラのポーズ安定性に交絡していることを報告。

議論として、SCVCはheld-out視点への外挿に有効である一方、分布内の補間では改善が見られないことが挙げられる。これは、SCVCが視点変化に対する一般化を促進するが、既知の視点範囲内での性能向上には寄与しないことを示唆する。また、公開されているカメラロバスト性の数値が手首カメラのポーズ安定性に交絡しているという指摘は、既存の評価プロトコルの注意点を示す。さらに、理論的な縮小則は制御実験で検証されたが、実環境での適用にはさらなる検証が必要かもしれない。要旨からは、SCVCの限界や他の摂動軸への適用可能性については不明。

要旨で参照されている研究や関連手法として、World Action Models (WAMs) の基礎となる研究、cross-view consistencyを利用した既存手法、LIBERO-Plusベンチマーク、カメラロバスト性に関する既存研究が挙げられる。具体的には、WAMsの元論文、cross-view consistency lossを用いた自己教師あり学習、視点変化に対するロバスト性を扱ったロボット学習の研究などが関連する。