日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
姿勢推定arXiv:2610.31623

F2G-Pose：幾何情報を活用した基盤特徴の持ち上げによる直接的なカテゴリレベルRGB-D物体姿勢推定

F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D画像からカテゴリレベルの物体姿勢・サイズ・形状を1回の順伝播で直接推定するリアルタイム手法を提案し、SOPE/ROPEで最高精度を達成した。

詳しい要約

1. どんなもの？

- カテゴリレベルRGB-D物体姿勢推定の研究 - インスタンス固有CADや参照視点なしで3D回転・並進を推定 - 単一RGB-D観測から1回のfeed-forwardで姿勢・metric size・camera-frame completed shapeを予測 - F2G-Poseというreal-time direct single-passフレームワーク - 中間構造やdiffusionを使わない直接推定 - 28 FPSのpose-only推論を実現

2. 先行研究と比べてどこがすごい？

- 中間構造ベース手法との比較 - 誤差伝播が起きやすい問題を回避 - diffusionモデルとの比較 - 推論レイテンシが高くpost-hoc候補抽出が複雑という問題を回避 - 信頼性と効率のバランスを両立 - SOPEとROPEでstate-of-the-art精度 - 28 FPSのreal-time推論を達成

3. 技術・手法の肝は？

- dense visual foundation featuresをpartial point cloudsへlifting - DGCNN tokenizationで局所geometryをencode - Mixture-of-Experts Transformerでobject-level structureを統合 - 姿勢・size・camera-frame shape completionをjoint予測 - dense geometric supervisionでmetric consistencyを促進 - 学習はpose-annotated synthetic SOPEデータのみ - RADIO backboneはfrozenで外部pretrain済み

4. どうやって有効だと検証した？

- SOPEとROPEでstate-of-the-art精度を達成 - pose-only推論で28 FPSを確認 - HouseCat6Dでcamera-frame geometryの強さを実証 - HANDALでreal-object transferを実証 - latency・robustness・shape completion・GenPose++ candidate behaviorの分析 - 実世界manipulation実験でsegmented RGB-D入力下のdeployment potentialを確認

5. 議論はある？

- 中間構造やdiffusionの課題に対する効率性・信頼性の議論 - latency・robustness・shape completion・GenPose++ candidate behaviorの分析 - 実世界manipulationでのdeployment potential - 具体的な限界や失敗ケースの詳細は要旨からは不明

6. 次に読むべき論文は？

- GenPose++（candidate behaviorが比較・分析対象） - diffusionベースのcategory-level pose推定手法（関連手法として言及） - 中間構造ベースのcategory-level pose推定手法（関連手法として言及） - DGCNN（tokenizationに使用） - RADIO（frozen backbone） - SOPE・ROPE・HouseCat6D・HANDAL（評価データセット）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinyu Zhang, Haitao Lin, Jiashu Hou, Xiangyang Xue, Yanwei Fu

分類: cs.CV

原文アブストラクト

This paper studies category-level RGB-D object pose estimation, which recovers an object's 3D rotation and translation without instance-specific CAD models or reference views. This task is highly ambiguous due to intra-class variations, symmetries, and partial observations. Current solutions struggle to balance reliability and efficiency: methods based on intermediate structures are prone to error propagation, while diffusion models suffer from high inference latency and complex post-hoc candidate extraction. To address this, we present F2G-Pose, a real-time direct, single-pass framework that predicts category-level pose, metric size, and camera-frame completed shape from a single RGB-D observation in one feed-forward pass. F2G-Pose lifts dense visual foundation features to partial point clouds, encodes local geometry with DGCNN tokenization, and integrates object-level structure with a Mixture-of-Experts Transformer. Joint size prediction and camera-frame shape completion encourage metric consistency through dense geometric supervision. With its task-specific network trained only on pose-annotated synthetic SOPE data and its frozen RADIO backbone externally pretrained, F2G-Pose achieves state-of-the-art accuracy on SOPE and ROPE while running at 28 FPS for pose-only inference, and further demonstrates strong camera-frame geometry on HouseCat6D and real-object transfer on HANDAL. Analyses of latency, robustness, shape completion, and GenPose++ candidate behavior further demonstrate the efficiency and reliability of F2G-Pose, with real-world manipulation experiments demonstrating deployment potential under segmented RGB-D inputs. The project page, code, and pretrained models are made available at https://jrryzh.github.io/F2G-Pose/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI