日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.29246

奥行きに基づく状態表現を学習するDepState-JEPA：視覚認識とマニピュレーション

DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

RGBと深度の二重ストリームで共有潜在状態DepStateを学習し、行動条件付き予測と操作タスクの性能を向上させるJEPA型フレームワークを提案。

詳しい要約

1. どんなもの？

- ロボット manipulation のための予測表現学習フレームワーク **DepState-JEPA** を提案 - RGB と Depth の dual-stream 入力を用いる joint-embedding predictive architecture - 共有潜在状態 **DepState** を介して spatial understanding と action-conditioned prediction を接続 - 基盤は **V-JEPA 2.1** - 目的は「action が何を変えるか」を「物がどこにあるか」から推論すること - 視覚知覚と manipulation の両方を対象

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的比較は要旨からは不明 - 主張されている利点 - RGB-D adaptation 後の RGB-encoder transfer が強い - feature completion、conditioned visual forecasting、manipulation success で比較優位 - depth を単なる追加入力でなく metric 3D space への grounding に使う点が特徴的 - 既存 V-JEPA 系との差分の詳細は要旨からは不明

3. 技術・手法の肝は？

- **dual-stream RGB–Depth** の joint-embedding predictive architecture - 共有情報を **DepState** に集約し、modality-private features は decoding 用に保持 - depth を complementary observation かつ metric 3D grounding に使用 - **ray-conditioned readouts** が target depth なしで local features を予測 - action-conditioned transition 後、予測状態と固定した初期 private features で将来の RGB/depth features を予測 - **robot-state readouts** で recursive proprioceptive inputs を供給 - **object-trajectory supervision** と calibrated forward kinematics によ…

4. どうやって有効だと検証した？

- 比較実験を実施 - RGB-D adaptation 後の RGB-encoder transfer - feature completion - conditioned visual forecasting - manipulation success - within-model ablations を実施 - depth content、metric coordinates、future-state matching の寄与を同定 - FK regularization による追加の control gains を確認 - 具体的なデータセット名・ベースライン名・数値は要旨からは不明

5. 議論はある？

- 要旨からは不明 - 示唆される論点 - depth content、metric coordinates、future-state matching の各要素の寄与 - FK regularization が control に与える追加効果 - 限界や失敗ケース、計算コスト、実機展開の議論は要旨からは不明

6. 次に読むべき論文は？

- **V-JEPA 2.1**（本手法の基盤） - **V-JEPA** 系の predictive representation learning 研究 - **JEPA** 系の joint-embedding predictive architecture 研究 - RGB-D を用いた robot manipulation の表現学習研究 - forward kinematics や proprioception を統合した manipulation 学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiujian Liang, Liuyuan Na, Zehao Du, Jiacheng Xu, Weixi Song, Mingyang Sun, Xingjun Ma, Cewu Lu, Jianhua Sun

分類: cs.RO, cs.CV

原文アブストラクト

Predictive representations for robot manipulation should connect scene geometry with the state changes induced by actions. Our intuition is that understanding what an action will change starts with understanding where things are: complementary RGB and depth observations ground a common scene representation from which to infer those changes. Guided by this intuition, we introduce \textbf{DepState-JEPA}, a dual-stream RGB--Depth joint-embedding predictive architecture that connects spatial understanding with action-conditioned prediction through a shared latent state, \textbf{DepState}. Built on V-JEPA~2.1, the framework uses depth both as a complementary observation stream and to ground both modalities in metric 3D space, aggregating shared information into DepState while retaining modality-private features for decoding. Ray-conditioned readouts predict local features without target depth; after an action-conditioned transition, the same decoders predict future RGB and depth features using the predicted state and fixed initial private features. Robot-state readouts provide recursive proprioceptive inputs; object-trajectory supervision and calibrated forward kinematics shape state learning through motion targets and joint--TCP consistency. Comparisons show stronger RGB-encoder transfer after RGB-D adaptation, feature completion, conditioned visual forecasting, and manipulation success. Within-model ablations identify contributions from depth content, metric coordinates, and future-state matching, with additional control gains from FK regularization.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI