日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.22584

InteractVLA:VLAを対話型ロボット操作ツールに変えるフレームワーク

InteractVLA: Turning VLAs into Interactive Tools for Agentic Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAポリシーを幾何学的に操作・検査可能なツールへと変換し、視覚言語エージェントとの双方向インターフェースで動作を誘導・修正できるようにした研究。

詳しい要約

1. どんなもの?

- 事前学習済みの flow-based VLA ポリシーを、vision-language agent から幾何的に操作・検査できる双方向インターフェースで包むフレームワーク。 - 従来は VLA を言語のみで呼ぶ不透明な primitive として扱っていたが、InteractVLA は end-effector target の指定や action chunk の診断を可能にする。 - agentic manipulation における VLA の再試行や手動介入の非効率を緩和することを狙う。

2. 先行研究と比べてどこがすごい?

- 既存の agentic manipulation は VLA を language-only の opaque primitive として扱い、失敗時に steer できず再試行や手動 takeover に頼っていた。 - InteractVLA は VLA を geometrically steerable かつ inspectable な tool に変換する点が異なる。 - 結果として online agentic tool use を改善し、recursive self-improvement (RSI) も可能にし、LIBERO-Plus 99.4%、RoboDojo 48.62%、RoboCasa365 89.4% の SOTA を報告。

3. 技術・手法の肝は?

- 双方向 geometric interface が肝。forward 方向では test-time geometric guidance により、agent 指定の end-effector target を differentiable command-to-pose mapping 経由で action expert への入力勾配に変換する。 - soft-time target alignment で arrival time を latent execution index として扱い、policy の approach motion を歪めずに target pose へ合わせる。 - reverse 方向では action-informed agentic refinement により、生成された action chunk と calibrated camera reprojection を agent に返し、空間的 discrepancy の診断、次回 VLA 呼び出しの target 修正、guided trajectory 上の motion segment の…

4. どうやって有効だと検証した?

- LIBERO-Plus で 99.4%、RoboDojo で 48.62%、RoboCasa365 で 89.4% を達成し、state-of-the-art 性能を報告。 - これらのベンチマーク結果により、VLA を制御可能にすることが online agentic tool use と recursive self-improvement (RSI) を向上させることを示す。 - 具体的な ablation や比較実験の詳細は要旨からは不明。

5. 議論はある?

- VLA を steerable/inspectable にすることで agentic tool use と RSI が向上する点を主張。 - 失敗時の再試行や手動 takeover の削減につながる可能性を示唆。 - 限界や失敗ケース、計算コスト、汎化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として flow-based VLA、test-time guidance、LIBERO-Plus、RoboDojo、RoboCasa365 などのベンチマーク、agentic manipulation、recursive self-improvement (RSI) に関する文献を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Zhao, Zipeng Ye, Shifeng Bao, Yihan Lin, Haitao Shen, Yining Luo, Yuchen Xie, Jing Zhang

分類: cs.RO

原文アブストラクト

Existing agentic manipulation systems treat pretrained vision-language-action (VLA) policies as opaque, language-only primitives: when a policy call fails under unfamiliar instructions or scene perturbations, the agent cannot steer its behavior and is forced into futile retries or costly manual takeover. We present InteractVLA, a framework that turns pretrained flow-based VLAs into geometrically steerable and inspectable tools through a bidirectional geometric interface with vision-language agents. In the forward direction, test-time geometric guidance translates an agent-specified end-effector target into input gradients through the action expert via a differentiable command-to-pose mapping, while soft-time target alignment treats arrival time as a latent execution index to match the target pose without distorting the policy's approach motion. In the reverse direction, action-informed agentic refinement exposes generated action chunks and calibrated camera reprojections back to the agent, allowing it to diagnose spatial discrepancies, revise targets for subsequent VLA calls, or locally adjust motion segments on top of the guided trajectory. Making the VLA controllable not only boosts online agentic tool use, but also unlocks effective recursive self-improvement (RSI), achieving state-of-the-art performance of 99.4\% on LIBERO-Plus, 48.62\% on RoboDojo, and 89.4\% on RoboCasa365. Project page: https://lingwupro.github.io/InteractVLA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI