日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2611.23858

LAGR: タスク指向把持のための言語認識把持再ランキング

LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語入力からタスクに適した把持を選ぶ手法LAGRを提案し、物理的実現性とタスク適合性を両立させる大規模データセットを構築して、既存手法を9.3ポイント上回る性能を実機で実証した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための task-oriented grasping(タスク志向把持)手法 - 下流タスクに応じて適切な把持位置が変わる問題(例: hammer は打撃時は handle、手渡し時は head)を扱う - 視覚言語入力から、物体の物理的実行可能性とタスク適合性の両基準を考慮した把持を検出する - 大規模データセットも構築 - 100,911 の image-task ペア、17 物体カテゴリ - 2.68M のスコア付き 5-DoF grasp アノテーション

2. 先行研究と比べてどこがすごい?

- 既存の task-oriented grasping データセットは小規模・合成データ・アノテーションコスト大という課題があった - 本研究は実観測上で feasibility と task score の両方を持つ大規模な密な grasp ラベルを構築 - 2.68M のスコア付き 5-DoF grasp、100,911 image-task ペア、17 カテゴリ - 手法面では、次善手法を 9.3 percentage points 上回る性能を報告 - 実機 Franka Research 3 でも検証

3. 技術・手法の肝は?

- LAGR は 2 段階の構成 - まず vision-language 入力から task 非依存の grasp proposals を生成し、physical feasibility score を付与 - 次に language-conditioned re-ranker が全 proposals を jointly に推論してスコアリング - 物理的実行可能性とタスク適合性の 2 基準を明示的に分離して扱う点が肝 - 個々の grasp を独立評価せず、全候補をまとめて再ランキングする点が特徴

4. どうやって有効だと検証した?

- 構築した大規模データセット上での実験で、次善手法を 9.3 percentage points 上回った - 実物体に対して Franka Research 3 ロボットで task-oriented grasp を実行し検証 - 具体的な評価指標・ベースライン名・被験者数などは要旨からは不明

5. 議論はある?

- データセットの規模・アノテーション品質やカテゴリ偏り(17 カテゴリ)に関する議論は要旨からは不明 - 実機検証の詳細(成功率、タスク種類、物体数)は要旨からは不明 - 5-DoF grasp に限定している点の汎用性は要旨からは不明 - language-conditioned re-ranker の計算コストやリアルタイム性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は記載なし - 関連して読むべき候補(同分野の定番・関連手法) - task-oriented grasping の既存研究(grasp affordance / task-compatibility 系) - language-conditioned grasping / vision-language grounding 系 - grasp proposal 生成と re-ranking を用いる grasp detection 系 - Franka Research 3 を用いた実機マニピュレーション研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Manav Kulshrestha, Shreyans Jain, Apoorva Vashisth, Ankush Gupta, Damon Conover, Aniket Bera

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Grasping is a fundamental capability for robotic manipulation, with the appropriate grasp depending on the downstream task. For example, a hammer should be held by its handle for hammering but by its head when it is handed over. Selecting such a grasp requires consideration of two criteria: physical feasibility on the object and suitability for the task. Developing such an approach requires dense grasp labels with both feasibility and task scores on real observations, but existing task-oriented grasping datasets are small, synthetic, or costly to annotate. To address this gap, we construct a dataset of 2.68 million scored 5-DoF grasp annotations over 100,911 image-task pairs from $17$ object categories. Additionally, we introduce LAGR, a task-oriented grasp detection method that explicitly addresses both these challenges. Given vision-language inputs, LAGR first generates task-independent grasp proposals along with a physical feasibility score, and then scores the generated grasps with a language-conditioned re-ranker that reasons over all proposals jointly. Experiments show that LAGR outperforms the next best method by 9.3 percentage points. We further validate LAGR on real objects by executing task-oriented grasps with a Franka Research 3 robot.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI