マニピュレーション2026/9/14arXiv:2609.15509

StereoPatch: ロボットマニピュレーションの空間知覚のためのパッチ整合RGB-深度融合

StereoPatch: Patch-Aligned RGB-Depth Fusion for Spatial Perception in Robot Manipulation

RGBパッチと深度情報をパッチ単位で非対称クロスアテンションにより融合し、幾何学的な曖昧さを解消する視覚運動ポリシー向け表現を提案。実機6タスクで外観のみ・幾何のみ・生RGB-D・後段融合のベースラインを上回る成功率を達成。

詳しい要約

1. どんなもの？

- ロボット模倣学習における visuomotor policy 向けの RGB-Depth 融合表現「StereoPatch」を提案する研究。 - 同一の 2-D patch grid 上で、登録済みの metric geometry を RGB patch に直接結びつける patch-aligned 表現。 - asymmetric cross-attention により depth 情報を対応する RGB 特徴へ取り込み、action decoding 前に統合する。 - 生成される StereoPatch Tokens は geometry-aware な視覚表現として、既存の visuomotor policy の学習目的を変えずに条件付けできる。

2. 先行研究と比べてどこがすごい？

- 外観のみ (appearance-only)、幾何のみ (geometry-only)、生の RGB-D、late-fusion の各ベースラインと比較。 - 6 つの実ロボットタスクで closed-loop success が高いと報告。 - 単に depth を追加する手法では、制御学習と同じ限られた demonstrations から RGB-depth 対応を学ぶ必要がある点を課題として指摘。 - depth を独立モダリティとして与えるのではなく、action prediction に使う視覚特徴へ直接整列させる利点を示す。

3. 技術・手法の肝は？

- 共有された 2-D patch grid 上で RGB と depth を patch 単位に対応付ける。 - asymmetric cross-attention を用い、depth 情報を対応する RGB 特徴へ統合する。 - 統合は action decoding の前に行う。 - 出力は StereoPatch Tokens と呼ばれる geometry-aware 視覚表現。 - 既存 visuomotor policy の学習目的を変更せずに条件付け可能。

4. どうやって有効だと検証した？

- 6 つの実ロボットタスクで closed-loop success を評価。 - appearance-only、geometry-only、raw RGB-D、late-fusion のベースラインと比較。 - 3 つの simulation suites で visuomotor policy architectures 間の互換性、spatial generalization、operating limits を評価。 - 詳細な実験設定・指標は要旨からは不明。

5. 議論はある？

- 制御に関連する幾何的曖昧性の解消には、depth を独立モダリティとして与えるより、action prediction に使う視覚特徴へ直接整列させることが有効と示唆。 - 限られた demonstrations で RGB-depth 対応を学ぶ負担を軽減できる可能性。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されているベースライン: appearance-only、geometry-only、raw RGB-D、late-fusion。 - 関連手法として robot imitation learning の visuomotor policy、pretrained RGB features、asymmetric cross-attention が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanan Zhou, Zhaoyan Qian, James Zhao, Weiming Zhi

分類: cs.RO

原文アブストラクト

Recent advances in robot imitation learning have produced visuomotor policies that predict actions directly from visual observations. Yet visually similar scenes can require different actions as target position, object height, or contact geometry changes. Pretrained RGB features may map these geometrically distinct states to similar policy inputs, while simply adding depth requires the policy to learn RGB-depth correspondence from the same limited demonstrations used to learn control. We introduce StereoPatch, a patch-aligned RGB-depth representation that binds registered metric geometry directly to the RGB patches used for action prediction. On a shared 2-D patch grid, asymmetric cross-attention incorporates depth information into the corresponding RGB features before action decoding. The resulting StereoPatch Tokens provide a geometry-aware visual representation that can condition general visuomotor policies without changing their underlying learning objectives. Across six real-robot tasks, StereoPatch achieves higher closed-loop success than appearance-only, geometry-only, raw RGB-D, and late-fusion baselines. Additional experiments across three simulation suites evaluate compatibility across visuomotor policy architectures, spatial generalization, and operating limits. Results suggest that resolving control-relevant geometric ambiguity benefits from aligning depth directly with the visual features used for action prediction, rather than supplying it as an independent modality. Project page: https://aus.bot/research/stereopatch/.

arXivで原文を読む →arXiv概要ページ