日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23926

長期的VLAマニピュレーションにおけるタスク意図の接地

GTI: Grounding Task Intent Throughout Long-Horizon VLA Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

観察と実行履歴から現在のサブタスクと実行フェーズを特定し、フェーズ別の視覚目標でVLAを条件付けすることで、長期的操作の成功率を向上させた研究。

詳しい要約

1. どんなもの?

- 長期的ロボット操作(long-horizon manipulation)向けのVLA(Vision-language-action)フレームワーク「GTI (Grounding Task Intent)」 - 現在の観測と実行履歴から、実行中のサブタスクとその実行フェーズを特定(localize)する - 同一サブタスクに対しフェーズ依存の2種類の視覚ターゲット(interaction/contact state と local completion state)を生成 - 局所言語指示とフェーズ特異的視覚ターゲットでVLAを条件付け、今何をすべきかと到達すべき状態を指定 - 実行中の異常監視と局所リカバリ(rollback, re-observation, phase re-evaluation)を備える

2. 先行研究と比べてどこがすごい?

- 比較対象は Global-FT ベースラインおよび adapted ForeAct ベースライン - RoboCasa365 の seen composite タスクで GR00T の成功率が ID/OOD 評価で 14.6%/12.1% から 31.8%/20.4% へ向上 - VLA-Arena で GTI+π_{0.5} が overall 47.6% に到達し、adapted ForeAct の 45.2% を上回る - より難しい L1/L2 タスクで 5.2/6.0 ポイントの改善 - 実機 PiPER の3タスクで full-task 平均成功率が 21.7% から 59.2% へ向上 - 持続的な意味的意図の局在化とフェーズ条件付き視覚グラウンディングが多段階実行を改善することを示す

3. 技術・手法の肝は?

- 現在の観測と実行履歴を用いて active subtask と execution phase を局在化 - 同一局所サブタスクに対し phase-dependent な2つの視覚ターゲットを生成 - interaction/contact state - local completion state - 局所言語指示とフェーズ特異的視覚ターゲットを組み合わせて VLA を条件付け - 実行中に anomaly monitoring を実施 - 持続的な逸脱(deviation)時に rollback・re-observation・phase re-evaluation による局所リカバリで意図整合的な実行コンテキストを再構築

4. どうやって有効だと検証した?

- RoboCasa365、VLA-Arena Horizon-Long、実世界 PiPER タスクで評価 - RoboCasa365: Global-FT ベースラインと比較し GR00T の seen composite タスク成功率を ID/OOD で比較 - VLA-Arena: GTI+π_{0.5} を adapted ForeAct ベースラインと比較、L1/L2 タスク別の改善を報告 - 実機: PiPER 上の3タスク実験で full-task 平均成功率を比較

5. 議論はある?

- 結果は、持続的な semantic intent localization と phase-conditioned visual grounding が multi-stage execution を改善することを示唆 - failure-triggered local recovery が deployment-time support として追加の支援を提供 - 各コンポーネントの個別アブレーションや限界・失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- Global-FT ベースライン(比較対象) - ForeAct(adapted ForeAct ベースライン) - GR00T(VLA モデル) - π_{0.5}(VLA モデル) - RoboCasa365、VLA-Arena Horizon-Long(評価ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianqi Gong, Haochen Niu, Yusheng Zhao, Lantao Zhang, Haoyu Liu, Rendong Ying, Peilin Liu

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models generate local actions from visual observations, language, and robot state, but long-horizon manipulation requires the global task intent to remain grounded in the currently executable context. We propose GTI (Grounding Task Intent), which uses the current observation and execution history to localize the active subtask and its execution phase. For the same local subtask, GTI generates two phase-dependent visual targets: an interaction/contact state and a local completion state. The local language instruction and the corresponding phase-specific visual target jointly condition the VLA, specifying both what to do now and what state should be reached at the current phase. During execution, anomaly monitoring and local recovery re-establish an intent-consistent execution context through rollback, re-observation, and phase re-evaluation after persistent deviation. We evaluate GTI on RoboCasa365, VLA-Arena Horizon-Long, and real-world PiPER tasks. Relative to matched Global-FT baselines, GR00T success on seen composite RoboCasa365 tasks increases from 14.6%/12.1% to 31.8%/20.4% under ID/OOD evaluation. On VLA-Arena, GTI+$π_{0.5}$ reaches 47.6% overall success versus 45.2% for an adapted ForeAct baseline, with gains of 5.2/6.0 percentage points on the harder L1/L2 tasks. In the three real-robot task experiments, mean full-task success increases from 21.7% to 59.2%. The results indicate that persistent semantic intent localization and phase-conditioned visual grounding improve multi-stage execution, while failure-triggered local recovery provides additional deployment-time support.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI