日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.26161

一視点一動作:観測整合エキスパートとグラフ間整合性による空間汎化可能なVLA

One View, One Action: Spatially Generalizable VLAs through Observation-Aligned Experts and Cross Graph Consistency

シェア:XThreadsFacebookLINEはてブBluesky

各視点のカメラ座標系で動作を予測する視点別エキスパートとベース座標系エキスパートを双方向注意グラフで統合し、カメラ視点や初期状態の変化に対する空間汎化性能を高めたVLAモデル。

詳しい要約

1. どんなもの?

- 多視点入力の VLA (vision-language-action) モデル「One View, One Action (OVOA-VLA)」の提案 - 各視点の camera frame で action を予測する『観測整合型』の学習枠組み - base-frame expert と view 別 action expert を併せて学習 - 同一の多視点入力で full inference と base-only inference の両方をサポート - カメラ視点やロボット初期状態の変化に対する spatial generalization の改善を狙う

2. 先行研究と比べてどこがすごい?

- 従来の multi-view VLA は robot base frame の action 監督のみを与え、視点観測と base-frame action の空間対応を暗黙に学習させていた - 提案法は各 view の camera frame で action を予測し、同一の物理運動を視点ごとに異なる観測整合的監督として利用 - view 固有の action 監督を base-frame 予測の改善に明示的に活用する点が新しい - 同一入力で full / base-only の両推論を可能にする点も従来と異なる - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- base-frame expert と view 別 action expert を joint training - view 別 expert は robot-state 入力と action target をそれぞれの camera frame で表現 - base と view 別 expert 間の双方向相互作用を 2 つの complementary directed attention graph でモデル化 - Cross Graph Consistency により、同一サンプルに対する 2 つの graph の base-frame 予測の一致を促す - これにより view 固有 action 監督を base-frame 予測へ jointly に反映

4. どうやって有効だと検証した?

- 複数の simulation benchmark で manipulation 性能と camera-viewpoint / robot-initialization 摂動への頑健性を評価 - LIBERO-Plus で full inference 88.1%、base-only inference 85.7% の平均成功率 - 実世界評価では spatial distribution shift 下の 3 タスクで、base-only inference が π_{0.5} の 28.3% から 58.3% へ平均成功率を向上 - 具体的な benchmark 名・タスク設定の詳細は要旨からは不明

5. 議論はある?

- full inference と base-only inference の性能差 (LIBERO-Plus で 88.1% vs 85.7%) の要因分析は要旨からは不明 - Cross Graph Consistency の寄与度や graph 設計の感度は要旨からは不明 - 実世界評価は 3 タスクに限られ、一般化範囲は要旨からは不明 - 計算コストや view 数増加時のスケーラビリティは要旨からは不明

6. 次に読むべき論文は?

- π_{0.5} (要旨で実世界比較のベースラインとして参照) - LIBERO-Plus (評価 benchmark として参照) - multi-view VLA の spatial generalization に関する研究 - directed attention graph を用いた expert 間相互作用の関連手法 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinxi Liu, Ruifeng Zhai, Hao Liu, Guangrun Wang

分類: cs.RO

原文アブストラクト

Multi-view vision-language-action (VLA) models still face challenges in spatial generalization, particularly under changes in camera viewpoints and robot initial states. These models typically receive action supervision only in the robot base frame, requiring them to implicitly learn the spatial correspondence between observations from each view and base-frame actions. We propose One View, One Action (OVOA-VLA), which learns to predict actions in each view's camera frame, allowing the same physical motion to provide diverse, observation-aligned supervision across views. OVOA-VLA jointly trains a base-frame expert and view-specific action experts, whose robot-state inputs and action targets are expressed in their respective camera frames. Two complementary directed attention graphs model both directions of interaction between the base and view-specific experts, jointly leveraging view-specific action supervision to improve base-frame prediction. Cross Graph Consistency further encourages agreement between the two graphs' base-frame predictions for the same sample. With the same multi-view inputs, the model supports both full and base-only inference. Experiments across multiple simulation benchmarks demonstrate improved manipulation performance and robustness to camera-viewpoint and robot-initialization perturbations. Full and base-only inference achieve average success rates of 88.1% and 85.7% on LIBERO-Plus, respectively. In real-world evaluations, base-only inference raises the average success rates from $π_{0.5}$'s 28.3% to 58.3% across three tasks under spatial distribution shifts.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI