OpenDexGrasp: オープン語彙のタスク指向巧み把持

- 本研究は、open-vocabularyなtask-oriented dexterous grasp生成を扱う。 - 自由形式の言語から機能的意図を推論し、multi-view視覚観測と物体形状に基づき、実行可能な高自由度graspを生成する。 - OpenDexGraspは、この設定のための統合データ・生成モデリングフレームワーク。 - OpenDexVerseは、Coverage-to-Alignment (C2A) Recipeで整理されたdual-source supervisionを提供する。 - OpenDex-Scaleは自動grasp合成とvision-language注釈で大規模な意味・幾何カバレッジを提供。 - OpenDex-Alignは人間のteleoperationとカテゴリレベル転移で高品質なembodied alignmentを提供。

- 従来のdexterous grasp合成は安定で物理的に妥当な手姿勢生成が進歩したが、タスクが示す機能を保持するgraspは不十分。 - 本研究はopen-vocabularyなtask-oriented設定を扱い、言語から機能意図を推論する点が新しい。 - 別個のaffordance-to-pose推論段階を必要とせず、task-consistentなdexterous graspを直接生成する。 - シミュレーションと実機で、機能的整合性、物理的実現可能性、未見カテゴリへの汎化、実世界実行成功率の改善を示す。

- OpenDexGraspは、open-vocabularyなvision-language文脈とdexterous action生成を結合する共有perception-action latent representationを学習する。 - Affordance groundingとgrasp generationがこのlatent space上で相補的なsupervisionを提供する。 - これにより、別個のaffordance-to-pose推論段階なしで直接task-consistentなdexterous graspを生成する。 - データ面では、OpenDexVerseがC2A Recipeに基づくdual-source supervisionを提供する。 - OpenDex-Scaleは自動grasp合成とvision-language注釈、OpenDex-Alignは人間のteleoperationとカテゴリレベル転移によるembodied alignmentを供給する。

- 広範なシミュレーションと実ロボット実験を実施。 - 機能的整合性、物理的実現可能性、未見カテゴリへの汎化、実世界実行成功率の改善を実証。 - 詳細と動画は https://opendexgrasp.github.io/ で公開。

- 要旨からは、限界や失敗事例、計算コスト、データ収集のバイアスなどに関する具体的な議論は不明。 - 提案手法の有効性と汎化性が強調されているが、定量的な比較やアブレーションの詳細は要旨からは不明。

- 要旨で参照・比較されている個別の先行研究は明示されていない。 - 関連手法として、dexterous grasp synthesis、open-vocabulary grasping、affordance grounding、vision-language-action models、human teleoperationによるデータ収集などが挙げられる。 - 同分野の定番として、DexGraspNet、GraspNet、CLIP、RT-1/RT-2などの一般名が考えられるが、要旨に直接の言及はない。