操作2026/8/11arXiv:2608.10780v3

StageWAM: ロボット操作におけるワールドアクションモデルのためのジョイント埋め込みステージ予測

StageWAM: Joint-Embedding Stage Prediction for World-Action Models in Robot Manipulation

ロボット操作タスクにおいて、短期的な物理的未来に加えて、タスクの進行段階を表すセマンティックな未来を予測するStageWAMを提案し、成功率と実行効率を向上させた。

詳しい要約

1. どんなもの？

StageWAMは、ロボット操作タスクにおける汎用ポリシーを改善するためのフレームワークである。既存手法が短期的な物理的未来（固定長のビデオ・アクションチャンク）のみを予測するのに対し、StageWAMは段階レベルの意味的未来（タスクが現在の段階から次へどう進むべきか）を明示的に予測する。MotusベースのWorld Action Model (WAM)に、Stage-JEPAという目標条件付きJoint-Embedding Predictive Architecture (JEPA)予測器を追加する。Stage-JEPAは、現在の観測とタスク指示から、凍結したV-JEPA2エンコーダを用いて現在状態の表現を抽出し、次の推論された段階の潜在目標を予測する。

2. 先行研究と比べてどこがすごい？

既存の一般化ロボットポリシーは、未来を固定長の短いビデオ・アクションチャンクとして表現し、局所的なシーン進化を捉えるが、タスクの進行を明示的に記述する段階レベルの未来を捉えていない。StageWAMは、短期的物理的未来と段階的意味的未来という2つの補完的な未来を区別し、後者を予測することで、タスクの進行をより正確にモデル化し、実行効率と成功率を向上させる点が新しい。

3. 技術・手法の肝は？

手法の核心は、MotusベースのWorld Action Model (WAM)にStage-JEPAを統合することである。Stage-JEPAは、現在の観測とタスク指示を入力とし、凍結したV-JEPA2エンコーダで現在状態の表現を抽出し、次の段階の潜在目標を予測する。この予測は、タスクの段階的進行を意味的に捉えるために、JEPAの目標条件付き予測アーキテクチャを用いる。

4. どうやって有効だと検証した？

50のRoboTwin 2.0タスク（クリーン環境とランダム化環境）で評価し、StageWAMは全体成功率90.25%を達成し、成功したロールアウトにおける平均実行ステップ数を最強ベースラインと比較して5.97%削減した。

5. 議論はある？

要旨からは、議論の詳細は不明である。ただし、成功率と実行効率の向上が示されているが、一般化の限界や計算コスト、他の環境での性能などについては言及がない。

6. 次に読むべき論文は？

要旨で参照されている研究は、MotusベースのWorld Action Model (WAM)、V-JEPA2、Joint-Embedding Predictive Architecture (JEPA)、RoboTwin 2.0である。次に読むべき論文としては、これらの基盤となる研究（例：Motus、V-JEPA2、JEPA）や、ロボット操作における世界モデルや予測学習に関する関連研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiao Liu, Yuguang Yang, Xi Wang, Kai Jiang, Cheng Chi, Yong Xu, Wenchao Ding, Yilun Chen, Yan Wang

分類: cs.RO

原文アブストラクト

Generalist robot policies aim to map multimodal observations and linguistic task instructions to actions across diverse tasks. However, existing methods typically represent the future as a fixed, short video-action chunk. This short-term future captures local scene evolution for action execution, but it does not explicitly describe the stage-level future that specifies how a task should progress from its current stage to the next. We therefore distinguish two complementary futures for robot manipulation: a short-term physical future to capture local scene evolution and a stage-level semantic future to represent task progress. We introduce StageWAM, which augments a Motus-based World Action Model (WAM) with Stage-JEPA, a goal-conditioned Joint-Embedding Predictive Architecture (JEPA) predictor. Given the current observation and task instruction, Stage-JEPA uses a frozen V-JEPA2 encoder to extract the current-state representation and predicts the latent target of the next inferred stage. Across 50 RoboTwin 2.0 tasks in clean and randomized environments, StageWAM achieves 90.25% overall success and reduces the mean number of execution steps in successful rollouts by 5.97% relative to the strongest baseline.

arXivで原文を読む →arXiv概要ページ

← 論文一覧