GeomPrompt、欠損・劣化深度下のRGB-Dセグメンテーションを改善 軽量モジュールを提案

何が起きたか

2026年4月13日にarxiv.orgで公開された論文「GeomPrompt: Geometric Prompt Learning for RGB-D Semantic Segmentation Under Missing and Degraded Depth」において、RGB-Dセマンティックセグメンテーションのための軽量モジュールGeomPromptとGeomPrompt-Recoveryが提案された。これらのモジュールは、深度が欠損または劣化した状況で、RGBのみからタスク駆動の幾何学的プロンプトを生成し、凍結したRGB-Dセグメンテーションモデルの性能を向上させる。

詳細

GeomPromptは、RGBのみから第4チャンネル（深度）の代わりとなるタスク駆動の幾何学的プロンプトを合成する軽量なクロスモーダル適応モジュールである。深度の教師信号を必要とせず、下流のセグメンテーション損失のみで訓練される。GeomPrompt-Recoveryは、劣化した深度を補正するための適応モジュールで、凍結セグメンタにとって関連する第4チャンネルの補正を予測する。SUN RGB-Dデータセットでの評価では、DFormerで+6.1 mIoU、GeminiFusionで+3.0 mIoUの改善が報告され、強い単眼深度推定器と競合する性能を示した。劣化深度に対しては、GeomPrompt-Recoveryが最大+3.6 mIoUの改善をもたらした。また、GeomPromptは単眼深度ベースラインよりも効率的で、レイテンシは7.8ミリ秒（比較対象は38.3ミリ秒と71.9ミリ秒）と報告されている。

Key Facts

本紙の見方

今回の提案は、RGB-Dセマンティックセグメンテーションにおける深度情報の欠損・劣化という実用的な問題に対処する点で新規性がある。従来の手法は深度推定を中間タスクとして行うことが多かったが、GeomPromptはセグメンテーションタスクに直接最適化された幾何学的プロンプトを生成することで、深度推定の精度に依存せずに性能を向上させる。これは、ロボティクスや身体化AIの分野で、センサの故障や環境条件による深度データの品質低下が頻繁に発生することを考慮すると、実用上の価値が高い。 本紙の過去報道との接続は、関連記事が提供されていないため、直接的な連続性を指摘することはできない。しかし、RGB-D知覚の分野では、マルチモーダル融合の効率化と堅牢性が長年の課題であり、今回の提案はその流れに沿ったものであるとみられる。特に、凍結したセグメンタを利用するアプローチは、既存のモデルを再利用しながら適応するという点で、計算資源の制約があるエッジデバイスへの展開を意識した設計と言える。 業界構造への含意としては、この手法が実用化されれば、深度センサの品質に依存しないセグメンテーションシステムの構築が可能になり、センサコストの低減やシステムの堅牢性向上につながる可能性がある。また、レイテンシの短さは、リアルタイム処理が求められるロボット制御や自動運転などの応用で有利に働く。一方で、提案手法は特定のデータセットでの評価に留まっており、実環境での汎用性や、他のセグメンテーションモデルへの適用可能性は未検証である。 未確定の論点としては、まず、SUN RGB-D以外のデータセットでの性能が不明であること。また、GeomPromptが生成するプロンプトの解釈可能性や、深度情報が完全に欠損した場合と部分的に劣化した場合の性能差も検証が必要である。さらに、実際のロボットシステムに組み込んだ際の計算コストやメモリ使用量も確認すべき点である。

なぜ重要か

この研究は、RGB-Dセマンティックセグメンテーションの実用性を高める可能性がある。深度データの欠損や劣化は実環境で頻繁に発生する問題であり、この手法により、センサの品質に依存しない堅牢な認識システムの実現が期待される。また、軽量で高速なモジュールは、エッジデバイスやリアルタイム処理への応用に適しており、ロボティクスや自動運転などの分野に影響を与える可能性がある。