物理に基づくノイズ分離と意味・幾何協調による現実的な深度学習

- 実世界の depth sensor が示す複雑で異種的な noise を扱うための、physics-grounded な depth noise 合成フレームワーク PRISM の提案。 - monolithic（単一の黒箱的）な noise ではなく、noise を sensing invalidation と measurement inaccuracy の2つの modality に disentangle する点が中心。 - 3D Visual Foundation Model の特徴を spatial-semantic prior として活用する tripartite 構成。 - 目的は sim-to-real transfer における現実的な noisy depth の合成忠実度向上と、下流ロボティクス性能の改善。

- 既存の sensor modeling は depth noise を monolithic な black-box 過程として扱い、異なる error modality を支配する物理機構の違いを無視していた。 - 本研究は noise を物理的起源に基づき sensing invalidation と measurement inaccuracy に分離し、それぞれに tailored な扱いを可能にする点が新しい。 - さらに 3D Visual Foundation Model の特徴を physics-based reasoning の prior として蒸留する点、および invalidation 領域の sparsity・class imbalance に対処する supervision 設計を導入する点が先行研究と異なる。 - ベンチマークで noisy depth synthesis の state-of-the-art fidelity を達成し、実世界ロボット実験で 92.1% の平均成功率を示したと主張。

- physics-grounded paradigm により monolithic noise を sensing invalidation と measurement inaccuracy の2 modality に disentangle。 - PRISM は tripartite framework として構成され、3D Visual Foundation Model の特徴を spatial-semantic prior として蒸留し physics-based reasoning に利用。 - invalidation 領域の sparsity と class imbalance に対処するため Hierarchical Positive-Prioritized Supervision を開発。 - 同 supervision は multi-scale positive-weighted objectives と positive-preserving dynamic hard mining strategy を統合し、artifact の精密な delineation…

- Extensive benchmarks により、PRISM が noisy depth synthesis において state-of-the-art fidelity を達成したと報告。 - 下流の robotic experiments を実施し、実世界で 92.1% の平均成功率を達成。 - monolithic baselines と比較して有意な改善であると主張。 - ベンチマークの具体的データセット名、評価指標、ロボットタスクの詳細は要旨からは不明。

- sensing invalidation と measurement inaccuracy への disentangle が有効であることを主張しているが、各 modality の分離精度や誤分離時の影響に関する議論は要旨からは不明。 - 3D Visual Foundation Model 特徴の寄与度や、Hierarchical Positive-Prioritized Supervision の各要素の ablation は要旨からは不明。 - 92.1% の成功率のタスク依存性、baseline の詳細、実環境のばらつきに対する頑健性は要旨からは不明。 - sim-to-real transfer の限界や、他の sensor modality への一般化可能性についても要旨からは不明。

- 要旨で直接参照・比較されている個別研究名は明示されていない。 - 関連手法として、3D Visual Foundation Model（例: DINOv2 系の 3D 拡張や VGGT など一般名としての 3D foundation model）に関する論文。 - depth sensor noise modeling や sim-to-real depth synthesis の代表的手法（例: CycleGAN 系の image translation、GAN-based depth noise synthesis、physics-based sensor simulation）。 - class imbalance 下の dense prediction に関する hard mining / positive-prioritized supervision の関連研究。 - 実世界ロボット操作における sim-to-real transfer のベンチマーク論文。