日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2608.26645

FLARE: 視覚言語ロボット操作における自動修正と回復のための障害認識フレームワーク

FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)が実行中に起こす失敗(掴み損ね、落下、衝突など)を自動で修正・回復できるようにするフレームワークを提案。デモに摂動や橋渡しセグメントを注入して「リトライ」能力を、MLLMによる失敗分析で「リセット」スキルを獲得し、オンライン監視で切り替える。

詳しい要約

1. どんなもの?

FLAREは、Vision-Language-Action Models (VLAs)にエラー回復能力を付与するフレームワーク。'Retry'と'Reset'のパラダイムを導入し、実行中の失敗(例:掴み損ね、物体落下、予期せぬ衝突)から自律的に回復する。

2. 先行研究と比べてどこがすごい?

従来のVLAは失敗のないデモンストレーションで訓練され、実行エラーに対する回復力が欠如していた。FLAREは、摂動とブリッジングセグメントを導入した'Retry'機構と、OOD状態を自動分析して'Reset'スキルを学習するパイプラインにより、この限界を克服している。

3. 技術・手法の肝は?

手法の核は、(1) 'Retry'機構:デモに摂動とブリッジングセグメントを注入し、ロボットのポーズと環境状態を分離することで、実行の逸脱を自律的に処理する。(2) 'Reset'パイプライン:MLLMを用いたオフライン失敗分析でOOD状態を自動識別し、オブジェクト中心の'Reset'スキルを少数収集・訓練して環境をタスク有効状態に復元する。(3) 推論時にはオンラインMLLMモニタがタスク実行と'Reset'スキルの仲裁を行う。

4. どうやって有効だと検証した?

接触の多い複雑な操作タスクで実験を行い、タスク成功率とロバスト性が大幅に向上することを示した。具体的な数値や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、'Retry'機構がOOD失敗に不十分である点や、'Reset'スキルの収集コスト、オンラインモニタの遅延などが議論の余地として考えられるが、明示的な議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Vision-Language-Action Models (VLAs)の基礎研究や、MLLMを用いた失敗分析、ロボット操作におけるエラー回復手法(例:Learning from Demonstrations, Hierarchical Reinforcement Learning)が挙げられる。具体的な論文名は要旨にないため、同分野の定番を一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ganlong Zhao, Zijia Tang, Xingping Chen, Zhanghui Kuang, Ye Tian, Guanbin Li

分類: cs.RO

原文アブストラクト

Vision-Language-Action Models~(VLAs) have demonstrated significant promise in generalizing to complex, long-horizon robotic manipulation tasks. However, their performance remains brittle, as they are typically trained on trajectory-monotonic, failure-free demonstrations. This reliance on ``perfect" data leaves them unable to recover from common execution errors, such as a missed grasp, a dropped object, or an unexpected collision. In this paper, we propose FLARE, a novel framework that endows VLAs with robust error recovery capabilities through a ``Retry" and ``Reset" paradigm. First, we introduce a ``Retry" mechanism by injecting perturbation and bridging segments that decouple robot pose from environment state into demonstrations, enabling the policy to autonomously handle execution deviations. Second, to address critical, state-breaking (OOD) failures, we introduce a ``Reset" pipeline. We leverage an MLLM for offline failure analysis to automatically identify OOD states from execution videos. This analysis enables the efficient, targeted collection of a small library of object-centric ``Reset" skills, which are trained to restore the environment to a task-valid state. Our full framework integrates these learned policies. At inference, an online MLLM monitor arbitrates between task execution and ``Reset" skills. Experiments on challenging, contact-rich manipulation tasks show our approach significantly improves task success and robustness.

関連論文