日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.04096v1

適応的視覚言語把持:構成可能な基盤事前知識と汎化可能な把持合成による実現

Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、ロボットハンドの種類に依存せず汎用的に把持を合成できるAdaRoboVLGフレームワークを提案し、物理的把持合成とタスク依存の理解を分離することで、基盤モデルの進歩を直接把持能力の向上に結び付ける手法を示した。

詳しい要約

1. どんなもの?

AdaRoboVLGは、異なるロボットハンドに一般化可能な把持合成を支援するタスク適応型Vision-Language-Grasp (VLG)フレームワーク。物理的な把持合成とタスク依存の理解を分離し、基礎モデルからの構成可能な事前知識を統合する。

2. 先行研究と比べてどこがすごい?

既存のVLG手法は基礎モデルとエンドツーエンドの把持ポリシーを密結合するが、AdaRoboVLGは一般化可能なベースポリシーを学習し、タスク依存の理解を専門の基礎モデルモジュールに委ねる。これにより、基盤ポリシーの再学習なしに文脈適応的な把持が可能。

3. 技術・手法の肝は?

ベースポリシーは明示的なキネマティックマッピングとforce-closureベースの安定性推定により、物理的に実行可能な把持候補を生成・評価する。タスク依存の理解は、空間・認知・時間的な事前知識を提供する専門モジュール群が担い、それらを把持合成プロセスに統合する。

4. どうやって有効だと検証した?

シミュレーションと実世界実験を実施。ベースポリシーの効率的な学習とクロスハンド一般化、3つの代表的把持課題に対する事前知識の有効性、および動的環境での機能的把持を実証した。

5. 議論はある?

要旨からは、物理的把持合成とタスク依存理解の分離がスケーラブルなパラダイムを提供するという主張がなされているが、具体的な限界や課題(例:事前知識の品質依存、複雑な環境での性能低下など)については言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、VLG分野の定番として、Vision-Language Models (VLMs)を把持に応用した研究や、Grasp Synthesisの古典的手法(例:Force-closure grasp planning)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sixu Yan, Shikang Wang, Binhua Huang, Xuanlai Tang, Guohua Fan, Fan Huang, Haoxuan Li, Yongkang Li, Yuhan Li, Bencheng Liao, Zeyu Zhang, Wenyu Liu, Hangxin Liu, Xinggang Wang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

This paper proposes AdaRoboVLG, a task-adaptive Vision-Language-Grasp (VLG) framework that supports generalizable grasp synthesis across different robotic hands. Unlike existing VLG methods that tightly couple foundation models with end-to-end grasp policies, AdaRoboVLG learns an efficient generalizable base policy that generates and evaluates physically feasible grasp candidates through explicit kinematic mapping and force-closure-based stability estimation, while offloading task-dependent understanding to specialized foundation-model modules. These modules provide composable priors that are integrated into the grasp synthesis process, enabling contextually adaptive grasp synthesis without retraining the underlying grasp policy. Through extensive simulation and real-world experiments, we demonstrate that (i) the base policy exhibits efficient learning and strong cross-hand generalization, (ii) the framework effectively incorporates spatial, cognitive, and temporal priors to address three representative grasping challenges without compromising grasp synthesis performance compared to state-of-the-art methods, and (iii) these priors can operate jointly to enable functional grasping in cluttered and dynamic environments. These results indicate that decoupling physical grasp synthesis from task-dependent understanding provides a scalable paradigm for robotic grasping, allowing future advances in foundation models to be directly translated into improved grasp capabilities without redesigning or retraining the underlying grasp policy. Supplementary videos are available at https://adarobovlg.github.io/

関連論文