深度復元2026/11/1arXiv:2611.01645

不確実性を考慮した深度復元による素材非依存の物体操作

UA-Depth: Uncertainty-Aware Depth Restoration for Material-Agnostic Object Manipulation

透明・反射・半透明素材で壊れるRGB-D深度を、不確実性マップと共に反復的に復元し、6D姿勢推定や把持生成の下流性能を向上させるフレームワークを提案。

詳しい要約

1. どんなもの？

- RGB-Dカメラで非Lambertian物体（透明・反射・半透明材料）を撮ると生じるholes、structured noise、biased depthを修復する枠組み - 名称はUA-Depth（Uncertainty-Aware Depth Restoration） - 単一のdepth mapではなく、pixel-wise uncertaintyを同時に推定し共洗練する点が特徴 - 下流のcategory-level 6D pose estimationや6D grasp synthesisへの活用も想定

2. 先行研究と比べてどこがすごい？

- 多くの既存restoration手法は単一のdepth mapのみを出力し、noisy領域と信頼できる領域を下流で一律に扱い、領域ごとのuncertaintyを無視していた - UA-Depthはdepthとpixel-wise uncertaintyを反復的にco-refineし、uncertainty-gated featuresで信頼できないcueを抑制 - frozen depth foundation modelをpriorに用いてzero-shot性能を強化 - 8データセットのzero-shot benchmarkを新たに導入し、代表baseline中でbest mean rank、特に透明・反射物体主体のデータセットで大きな改善

3. 技術・手法の肝は？

- depthとpixel-wise uncertaintyを反復的にco-refineするuncertainty-aware framework - uncertainty-gated featuresにより信頼できないcueを抑制し、安定した更新を実現 - frozen depth foundation modelをpriorとして使い、欠損・不確実なdepthを初期化 - two-stage MAD-weighted log-depth scale normalizationによりrelative-to-metric alignmentのoutlier biasを低減 - 予測uncertaintyを下流タスク（6D pose estimation、6D grasp synthesis）で活用

4. どうやって有効だと検証した？

- 多様なscene・material・sensorを網羅する8データセットのzero-shot benchmarkを構築 - 代表baselineと比較し、best mean rankを達成。透明・反射物体主体のデータセットで特に強い改善 - depth metricsに加え、category-level 6D pose estimationと6D grasp synthesisの下流改善を実証 - 具体的な数値・実験設定の詳細は要旨からは不明

5. 議論はある？

- 透明・反射・半透明材料でのRGB-Dの失敗（holes、structured noise、biased depth）への対処が主題 - uncertaintyを下流タスクで活用する有効性を主張するが、限界や失敗ケースの議論は要旨からは不明 - code・models・dataは出版時に公開予定と記載 - 計算コストやreal-time性、他材料への一般化の議論は要旨からは不明

6. 次に読むべき論文は？

- frozen depth foundation modelとして用いられた具体的なdepth foundation model（要旨では名称不明）の原論文 - relative-to-metric alignmentやscale normalizationに関するdepth補正研究 - category-level 6D pose estimationの代表手法 - 6D grasp synthesisの代表手法 - 透明・反射物体向けdepth補完の既存研究（要旨で比較対象として明示されていないため、同分野の定番を一般名で挙げる）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Cao, Jia-Hui Pan, Yin Zhang, Qiwei Meng, Jiapeng Li, Gang Wang, Runsong Zhu, Wei Chen, Chi-Wing Fu, Jiangliu Wang, Yun-Hui Liu

分類: cs.CV, cs.RO

原文アブストラクト

Robotic manipulation requires accurate metric depth, yet commodity RGB-D cameras often fail on non-Lambertian objects such as transparent, reflective, and translucent materials, producing holes, structured noise, and biased depth. Most restoration methods produce only a single depth map, treating noisy and reliable regions uniformly for downstream tasks while ignoring regional uncertainty. We present UA-Depth, an uncertainty-aware depth restoration framework that iteratively co-refines depth and pixel-wise uncertainty, and uses uncertainty-gated features to suppress unreliable cues for stable updates. To strengthen zero-shot behavior, UA-Depth leverages a frozen depth foundation model as a prior to initialize missing or unreliable depth, and applies two-stage MAD-weighted log-depth scale normalization to reduce outlier bias in relative-to-metric alignment. We introduce an eight-dataset zero-shot benchmark across diverse scenes, materials, and sensors. Across these benchmarks, UA-Depth achieves the best mean rank among representative baselines, with particularly strong gains on datasets dominated by transparent and reflective objects. Beyond depth metrics, we demonstrate downstream improvements in category-level 6D pose estimation and 6D grasp synthesis by exploiting the predicted uncertainty. \emph{Code, models, and data for training and evaluation will be released upon publication.}

arXivで原文を読む →arXiv概要ページ

← 論文一覧