セマンティックセグメンテーション2026/9/23arXiv:2609.28360

高解像度深度と超低解像度RGBによるプライバシー保護セマンティックセグメンテーション

Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

高解像度の深度画像と超低解像度のRGB画像を組み合わせた非対称センシングで、プライバシーを保護しつつ2D/3Dセマンティックセグメンテーションを行う手法を提案。

詳しい要約

1. どんなもの？

- モバイルロボットのカメラによるプライバシーリスクを軽減するため、高解像度(HR) depthと超低解像度(ULR) RGBを組み合わせた非対称センシング設定を導入。 - この設定で2Dセマンティックセグメンテーションと3Dセグメンテーションを行う手法を提案。 - HR depthで密な幾何情報を保持しつつ、ULR RGBで細かい視覚情報を制限する。

2. 先行研究と比べてどこがすごい？

- 従来のプライバシー保護手法と比べ、ScanNetで最高の2Dおよび3Dセグメンテーション性能を達成。 - SUN RGB-DとSceneNNへのゼロショット転移が最も強い。 - プライバシー回復可能性分析により、HR depth-ULR RGB入力が機密データの回復可能性を低減することを示した。

3. 技術・手法の肝は？

- HR depthとULR RGB間の深刻な情報不均衡に対処するため、HR geometryをガイドとしてセマンティック指向のRGB再構成とRGB-Dセグメンテーションを同時に行うjoint 2D frameworkを提案。 - フレームレベルの予測は信頼できるが、シーン全体の一貫した理解が難しいため、2Dセマンティック特徴を統合して3Dセグメンテーションを行うend-to-end 2D-to-3D pipelineを開発。

4. どうやって有効だと検証した？

- ScanNetでの実験で、プライバシー保護アプローチの中で最高の2Dおよび3Dセグメンテーション性能を達成。 - SUN RGB-DとSceneNNへのゼロショット転移が最も強いことを確認。 - プライバシー回復可能性分析により、提案入力が機密データの回復可能性を低減することを示した。 - 実ロボット実験で、得られた3Dセマンティクスがobject-goal navigationに有用であることを実証。

5. 議論はある？

- フレームレベルの予測は信頼できるが、非対称HR depth-ULR RGB設定下での一貫したシーンレベル理解は依然として困難であると議論。 - プライバシー回復可能性分析の詳細や限界については要旨からは不明。

6. 次に読むべき論文は？

- ScanNet, SUN RGB-D, SceneNNなどのデータセットを用いた関連研究。 - プライバシー保護セマンティックセグメンテーションやRGB-Dセグメンテーションの先行手法。 - object-goal navigationに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuying Huang, Swithinraj Moses Daniel, Sicong Pan, Sebastian Houben, Maren Bennewitz

分類: cs.CV, cs.RO

原文アブストラクト

As mobile robots become increasingly integrated into everyday environments, privacy risks arising from onboard cameras have become a growing concern. Ultra-low-resolution (ULR) RGB can mitigate visual privacy exposure at the source, but ULR appearance alone substantially limits semantic and spatial understanding. We therefore introduce a privacy-preserving asymmetric sensing setting that combines high-resolution (HR) depth with ULR RGB, preserving dense geometry while restricting fine-grained visual information. To address the severe information imbalance between HR depth and ULR RGB, we propose a joint 2D framework using HR geometry to guide semantic-oriented RGB reconstruction and RGB-D segmentation. Despite reliable frame-level predictions, consistent scene-level understanding remains challenging under the asymmetric HR depth--ULR RGB setting. We therefore develop an end-to-end 2D-to-3D pipeline that consolidates 2D semantic features for 3D segmentation. Experiments on ScanNet show that our method achieves the best 2D and 3D segmentation performance among privacy-preserving approaches and delivers the strongest zero-shot transfer to SUN RGB-D and SceneNN. Privacy recoverability analysis shows that our proposed HR depth--ULR RGB input reduces the recoverability of sensitive data, and real-robot experiments demonstrate the utility of the resulting 3D semantics for object-goal navigation.

arXivで原文を読む →arXiv概要ページ

高解像度深度と超低解像度RGBによるプライバシー保護セマンティックセグメンテーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文