LAGR: タスク指向把持のための言語認識把持再ランキング
LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping
視覚言語入力からタスクに適した把持を選ぶ手法LAGRを提案し、物理的実現性とタスク適合性を両立させる大規模データセットを構築して、既存手法を9.3ポイント上回る性能を実機で実証した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Manav Kulshrestha, Shreyans Jain, Apoorva Vashisth, Ankush Gupta, Damon Conover, Aniket Bera
分類: cs.RO, cs.AI, cs.LG
原文アブストラクト
Grasping is a fundamental capability for robotic manipulation, with the appropriate grasp depending on the downstream task. For example, a hammer should be held by its handle for hammering but by its head when it is handed over. Selecting such a grasp requires consideration of two criteria: physical feasibility on the object and suitability for the task. Developing such an approach requires dense grasp labels with both feasibility and task scores on real observations, but existing task-oriented grasping datasets are small, synthetic, or costly to annotate. To address this gap, we construct a dataset of 2.68 million scored 5-DoF grasp annotations over 100,911 image-task pairs from $17$ object categories. Additionally, we introduce LAGR, a task-oriented grasp detection method that explicitly addresses both these challenges. Given vision-language inputs, LAGR first generates task-independent grasp proposals along with a physical feasibility score, and then scores the generated grasps with a language-conditioned re-ranker that reasons over all proposals jointly. Experiments show that LAGR outperforms the next best method by 9.3 percentage points. We further validate LAGR on real objects by executing task-oriented grasps with a Franka Research 3 robot.
関連論文
- TinyARM-X:オープンソースで構成可能なトルク制御デスクトップスケールロボットマニピュレータ群マニピュレーション
- 移動マニピュレータの荷物受け渡しのための階層型アドミタンス・インピーダンス制御マニピュレーション
- タスク収束フローマッチングによる生成ロボティクスマニピュレーション
- 保持基準が視覚的リカバリ性能の評価を左右する:待機制御下での協調リカバリ分析マニピュレーション
- モデル情報を活用したロバスト幾何DDPCによるフィードバック線形化軌道追従マニピュレーション
- 両腕協調のためのアクショントークン化BiCATマニピュレーション
