GTA-2: 接地されたタスク軸によるロボットマニピュレーションスキル合成のためのマルチVLMフレームワーク

- ロボットマニピュレーションのスキルを、再利用可能なobject-centricなtask-axisコンポーネントから構築するmodularなmulti-VLMフレームワークGTA-2を提案。 - 各スキルをsemantic subtasksとして表現し、task-relevant keypointsとaxes、controller compositions、scene-dependent parametersを含む。 - 4つのspecialized VLM agentsが、タスク分解、abstract task-axis skill構築、controller parameter割当、RGB-Dからのvisual feature groundingを分担する。 - zero-shotでのスキル生成を可能にし、task-specificなrobot demonstrations、policy training、fine-tuningを不要とする。

- 従来はタスクごとにbehaviorを事前定義するか、generic skillsで広範囲をカバーする必要があり、behaviorが粗くgeometric/control/scene-dependentな決定を露出できない問題があった。 - GTA-2はend-to-endのaction予測や固定されたtask-level primitivesの合成ではなく、object-centricなtask-axis componentsからexecutableでtask-bespokeなスキルを構築する。 - abstraction-to-groundingのfactorizationにより、task-specificなdemonstrationsやpolicy training、fine-tuningなしでzero-shot生成を実現。 - 中間決定を明示的に保つことで、誤ったstageのみをtargeted human feedbackで修正し、正しいcomponentを保持できる。

- 各スキルをsemantic subtasksとして表現し、task-relevant keypointsとaxes、controller compositions、scene-dependent parametersから構成する。 - 4つのspecialized VLM agentsがそれぞれ、タスク分解、abstract task-axis skillの構築、controller parametersの割当、RGB-D observationsからのvisual featuresのgroundingを担当する。 - abstraction-to-groundingのfactorizationにより、zero-shot skill generationを実現。 - 中間決定をexplicitに保ち、targeted human feedbackによる段階的なrefinementを可能にする。

- 14のreal-robot manipulation tasksで評価。 - 比較対象はVLA policy pi_{0.5}と、task-axis controllersまたはconventional robot primitivesを用いる2つのCode-as-Policies baselines。 - GTA-2は平均zero-shot success rate 73.9%を達成し、最強baselineを31.4 percentage points上回った。 - targeted refinementにより平均success rateが90.7%に向上した。

- 要旨からは不明。 - ただし、targeted human feedbackが誤ったstageの修正に有効であること、intermediate decisionsのexplicit性がrefinementを可能にすることが示唆されている。 - 限界や失敗事例、計算コスト、VLM依存性などについての議論は要旨からは不明。

- VLA policy pi_{0.5} - Code-as-Policies - task-axis controllers - conventional robot primitives - 関連するVLMベースのロボットマニピュレーション手法（要旨で具体的な論文名は挙げられていないため、同分野の代表的手法としてCode-as-PoliciesやVLA policiesが該当）