RYOPO: カテゴリレベル物体姿勢推定をエンドツーエンドでリアルタイム化

- カテゴリレベル物体姿勢推定をリアルタイム化する手法 RYOPO の提案。 - RGB-D 入力から end-to-end で物体検出・セグメンテーション・9-DoF 姿勢推定を同時に行う query-based set predictor。 - 外部の instance segmentation や CAD 由来の shape prior を必要としない。 - NOCS で RGB-D の joint detection and pose estimation の既存結果を大きく改善。 - REAL275 と HouseCat6D の all-object 評価で two-stage 法に匹敵し、RTX A6000 で 31.8 FPS の full-frame 推定を実現。

- 従来の高精度 RGB-D 法は外部 instance segmentation と crop-based pose estimation に依存し、別ステージと物体依存の処理コストがリアルタイム推論を妨げていた。 - RYOPO は end-to-end 学習可能で、別途学習した instance segmentor や CAD 由来 shape prior を不要にした。 - 共有 image/scene encoding により物体ごとの crop encoding の繰り返しを回避。 - NOCS で joint detection and pose estimation の公開結果を大幅改善。 - REAL275 と HouseCat6D の all-object 評価で two-stage 法と競合しつつ、リアルタイム full-frame 推定を可能にした。

- query-based RGB-D set predictor として end-to-end で学習。 - 物体検出・セグメンテーション・9-DoF 姿勢推定を jointly に実行。 - 共有 image/scene encoding で per-object crop encoding の繰り返しを回避。 - query-conditioned geometry pathway が観測 3D 点と RGB 特徴を object query に関連付け、共有 scene context を組み込む。 - object-centric refinement が得られた point descriptor を使い、pose-conditioned cross-attention と recurrent residual correction で明示的 pose state を更新。

- NOCS で RGB-D joint detection and pose estimation の公開結果と比較し大幅改善を確認。 - REAL275 と HouseCat6D の all-object 評価で two-stage 法と競合する性能を確認。 - RTX A6000 上で 31.8 FPS のリアルタイム full-frame pose estimation を実現。 - 詳細な ablation や評価指標は要旨からは不明。

- 外部 instance segmentation や CAD shape prior への依存を排除し、リアルタイム性と精度の両立を主張。 - two-stage 法との比較では all-object 評価で competitive と述べるが、具体的な優劣や限界は要旨からは不明。 - 失敗事例、計算資源依存性、カテゴリ外汎化などの議論は要旨からは不明。

- NOCS (Wang et al.) - REAL275 (Wang et al.) - HouseCat6D (Do et al.) - two-stage RGB-D pose estimation 法 - query-based set prediction / DETR 系 - category-level object pose estimation の関連研究