RAGrasp: 幾何・意味テンプレート検索と把持転移

- RAGraspは、planar parallel-jaw graspingのためのretrieval-augmented pipeline。 - 展開環境で収集した少数のgrasp-annotated RGB-D templatesからgraspを生成。 - 新しい展開先でもend-to-end retrainingが不要。 - テンプレートメモリは展開カメラ・ロボット・グリッパで収集した観測から構築。

- 従来は大規模公開データセットや合成graspデータセットで訓練されたtask-specific predictorsが主流。 - RAGraspは新展開ごとのend-to-end retrainingを必要としない。 - テンプレートメモリを展開環境のセンシング・embodiment条件に合わせて構築。 - 限られたローカルアノテーションで展開固有のgrasp適応を実現。

- self-supervised DINOv2 visual featuresとappearance・depth cuesでSAM2をpromptし、query objectを分離。 - two-stage geometry-semantic retrieval cascadeでテンプレートを選択。 - confidence gateが2つのgrasp-transfer estimatorsの一方を選択。 - 転送graspをmask-supportとsilhouette-contact constraintsでrefine。 - 最後にcalibrated 2D-to-3D conversionを実施。

- 実世界トライアルで評価。 - seen objectsで20/20のgrasp成功。 - unseen objectsで19/20のgrasp成功。 - 評価設定内で、限られたローカルアノテーションからの展開固有grasp適応と、テストした視点・照明変化への耐性を示す。

- 評価設定内での結果であり、展開固有のgrasp適応と視点・照明変化への耐性を示す。 - 限られたローカルアノテーションで適応可能。 - 一般化可能性や他の条件への拡張性は要旨からは不明。

- DINOv2 - SAM2 (Segment Anything Model 2) - retrieval-augmented grasping - planar parallel-jaw grasping - grasp transfer