日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.23123

両腕ロボット操作のためのグローバル・ローカル表現アライメントと空間物理グラウンディング

GRASP: Global-Local Representation Alignment and Spatial-Physical Grounding for Bimanual Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

関節空間で動作を直接回帰するVLAモデルに対し、順運動学を用いた物理的損失とDINOv3・Grounding DINO由来のクエリ蒸留を組み合わせ、両腕の長期的操作タスクの精度を向上させた研究。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルによる双腕ロボットマニピュレーションのための学習時事前注入フレームワーク GRASP を提案する研究。 - 関節空間で直接 action を回帰する VLA は inverse kinematics の展開時コストを回避できるが、学習目的がタスク成功と整合しない問題に対処する。 - 2つの prior を学習時のみ注入し、推論時は標準的な joint-space flow policy として動作する。

2. 先行研究と比べてどこがすごい？

- 従来の joint-space 回帰型 VLA は関節誤差の物理的影響の不均一性を無視し、視覚条件付けが hand-object interaction 領域に明示的に注目しない点が課題だった。 - 本手法は differentiable forward kinematics (FK) を介した物理 grounded な損失と、attention レベルの局所教師信号を導入することでこれらを補う。 - 教師モデルは推論時に除去され、展開パイプラインは標準的な joint-space flow policy に learned query pathway を加えるのみ。

3. 技術・手法の肝は？

- 物理 grounded な flow-matching loss: 各 noise level の暗黙的 clean-action 推定を differentiable forward kinematics (FK) に通し、Tool Center Point (TCP) pose と inter-arm relative pose を監督。 - 勾配減衰を補償する bounded noise-level weighting を導入。 - global prediction query group: 凍結した DINOv3 teacher から future-frame feature prediction で蒸留。 - local interaction query: Grounding DINO により attention レベルで監督。 - 両 teacher は推論時に除去。

4. どうやって有効だと検証した？

- 長期的な双腕タスクについて simulation と real-robot 実験を実施。 - 2つの prior が異なる展開設定で相補的であることを示す。 - フルモデルは in-distribution 展開で優れ、蒸留 query 分岐は強い visual randomization 下で好ましいことを確認。

5. 議論はある？

- 2つの prior の相補性: in-distribution ではフルモデル、強い visual randomization では蒸留 query 分岐が有利という展開条件依存性が示唆される。 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明。

6. 次に読むべき論文は？

- DINOv3 (global prediction query の teacher) - Grounding DINO (local interaction query の教師) - flow-matching に基づく joint-space VLA / flow policy 関連研究 - differentiable forward kinematics を用いた物理 grounded 学習の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyuan Ren, Guanxun Zhao, Qi Li, Hao Wang, Wenlong Liao, Keyi Luo, Xijing Zhang, Zhiyuan Zhang, Jingye Cui, Qibin Gu, Zhichen Wang, Yucheng Hu, Liqiao Xia, Nan Bu, Zhengde Ma, Rankun Li, Xue Yang, Wende Xie

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models that directly regress joint-space actions avoid the deployment-time cost of inverse kinematics. However, their training objectives remain misaligned with task success, as joint-space losses ignore the unequal physical consequences of joint errors and visual conditioning lacks explicit focus on hand-object interaction regions. To address these issues, we propose a training-phase prior injection framework for fine-grained bimanual manipulation. First, a physics-grounded flow-matching loss maps the implicit clean-action estimate at every noise level through differentiable forward kinematics (FK) and supervises the resulting Tool Center Point (TCP) pose and inter-arm relative pose, with a bounded noise-level weighting that compensates gradient decay. Second, we introduce a global prediction query group distilled from a frozen DINOv3 teacher through future-frame feature prediction, together with a local interaction query supervised by Grounding DINO at the attention level. Both teachers are removed at inference, and the deployment pipeline is that of a standard joint-space flow policy, adding only the learned query pathway. Simulation and real-robot experiments on long-horizon bimanual tasks show that the two priors are complementary across different deployment settings. The full model excels in in-distribution deployment, while the distilled query branch is preferable under strong visual randomization.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI