日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.27314

CoRe-WAM: 対応整合型時間差分によるワールドアクションモデル

CoRe-WAM: Correspondence-Aligned Temporal Residuals for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

物体追跡の対応関係を用いて過去の視覚特徴を現在位置に移動させ、その差分を軽量アダプタでポリシーに組み込むことで、ロボットマニピュレーションの成功率を向上させた研究。

詳しい要約

1. どんなもの?

- CoRe-WAM は、ロボットの manipulation において現在と過去の観測を比較し、scene changes を理解して行動選択に役立てる world-action model。 - 同じ画像位置の visual features を比較すると、物体やカメラの動きで異なる scene content が混ざる問題に対処。 - correspondence-aligned visual changes を parameter-efficient temporal interface で組み込む。 - TraceDelta module が frozen tracking model の correspondences を使い、historical visual features を現在位置へ transport してから signed differences を計算。 - 軽量 adapter が differences を validity-gated residuals に変換し、current visual conditioning を補完。 - Motus をベー…

2. 先行研究と比べてどこがすごい?

- 従来は同じ画像位置の visual features を比較するため、物体やカメラの動きで異なる scene content が混ざる問題があった。 - CoRe-WAM は correspondence を用いて「どの historical content を現在と比較するか」を決定し、trajectory representation として別途 policy に入力しない点が新しい。 - Motus と比較して、50 RoboTwin 2.0 tasks で clean success 92.22%(+3.56 points)、randomized evaluation で 89.60%(+2.58 points)を達成。 - StarVLA-based policy に TraceDelta を統合すると clean success が 58.10% から 67.62% に向上し、Motus 以外への転移可能性も示す。 - 5,000-update adaptation budget という限られた適応予算で上記性能を達成。

3. 技術・手法の肝は?

- TraceDelta module が frozen tracking model から correspondences を取得。 - その correspondences を用いて historical visual features を現在位置へ transport。 - 共有 pretrained feature space 上で signed differences を計算。 - correspondence が「どの historical content を現在と比較するか」を決定し、trajectory representation として policy に入力しない。 - lightweight adapter が differences を validity-gated residuals に変換。 - この residuals が current visual conditioning を補完し、policy が recent changes と current-scene information を併用可能。 - Motus をベースに pretrained b…

4. どうやって有効だと検証した?

- 50 RoboTwin 2.0 tasks で clean success 92.22% を達成し、Motus より 3.56 percentage points 高い。 - randomized evaluation で 89.60% success を達成し、Motus より 2.58-point 高い。 - 5,000-update adaptation budget で評価。 - StarVLA-based policy に TraceDelta を統合し、clean success が 58.10% から 67.62% に向上することを確認。 - これにより temporal interface が Motus 以外にも転移可能であることを支持。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算コスト、tracking model の誤りへの感度、他の backbone への一般化可能性についての議論は明記されていない。 - 要旨からは不明。

6. 次に読むべき論文は?

- Motus(ベースモデル) - StarVLA(TraceDelta を統合した policy) - RoboTwin 2.0(評価ベンチマーク) - frozen tracking model(correspondences を提供する追跡モデル)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bin Zhou, Jialong Liu, Jianan Wang, Changhao Chen, Kani Chen

分類: cs.RO

原文アブストラクト

Comparing current and past observations helps robots understand scene changes and select subsequent actions during manipulation. However, comparing visual features at the same image location can mix different scene content when objects or the camera move. We introduce CoRe-WAM, a world-action model that incorporates correspondence-aligned visual changes through a parameter-efficient temporal interface. Its TraceDelta module uses correspondences from a frozen tracking model to transport historical visual features to current locations before computing signed differences in a shared pretrained feature space. Correspondence thus determines which historical content is compared with the present, rather than entering the policy as a separate trajectory representation. A lightweight adapter converts these differences into validity-gated residuals that supplement current visual conditioning, allowing the policy to use recent changes alongside current-scene information. Built on Motus, CoRe-WAM keeps the pretrained backbone weights frozen and optimizes 1.59 million parameters. With a 5,000-update adaptation budget, CoRe-WAM achieves 92.22% clean success across 50 RoboTwin 2.0 tasks, 3.56 percentage points above Motus; on randomized evaluation, it achieves 89.60% success, a 2.58-point gain. Integrating TraceDelta into a StarVLA-based policy improves clean success from 58.10% to 67.62%, supporting transfer of the temporal interface beyond Motus.

関連論文

PR本紙発行元 EmplifAI