VLA/ロボットマニピュレーション2026/8/14arXiv:2608.14822v1

想像による回復：推論時カウンターファクチュアル再調整による視覚言語行動モデルの復旧

Imagining Recovery: Inference-Time Counterfactual Realignment for Vision-Language-Action Models

視覚言語行動モデルがオンラインの外乱（目標変更や物理的摂動）に直面した際、失敗データや再学習なしに、推論時に「もしも」の継続を想像してロボットと環境を最小限に再調整する訓練不要の回復フレームワークを提案した。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) モデルによるロボット操作中に発生するオンラインの外乱（タスク目標の変更、シーン構成の変化、ロボット状態の変化など）からの回復を扱う。提案手法 Counterfactual Realignment (CoRe) は、訓練不要で凍結された VLA を推論時に回復させるフレームワークである。逸脱を検出すると、最近の実行可能な状態から現在の目標に向かってポリシーが継続する様子を、物理的な実行の代わりに合成観測を用いて想像し、その想像上の継続に再合流するようにロボットとシーンを最小限に再調整してから、ポリシーに制御を戻す。物理的な試行錯誤なしで回復を計画し、完了したタスクの進捗を保持し、エピソード途中の指示変更と物理的摂動の両方を統一的に扱う。

2. 先行研究と比べてどこがすごい？

既存の回復手法は、失敗データの収集、ポリシーの再訓練、または外部の修正エージェントを必要とすることが多く、追加のデータ要件や実行リスクが生じる。CoRe は、失敗データを必要とせず、ポリシーの微調整や失敗固有の回復訓練を一切行わずに、凍結された VLA を推論時に回復できる点が新しい。また、物理的な試行錯誤を避け、タスクの進捗を保持し、複数の種類の外乱を統一的に扱う点で優れている。

3. 技術・手法の肝は？

CoRe の核心は、逸脱検出後に、最近の実行可能な状態から現在の目標への想像上の継続を合成観測で生成し、その継続に再合流するための最小限の再調整を計画することである。具体的には、VLA の出力を利用して、物理的な実行なしに将来の観測を合成し、ロボットとシーンの状態をその想像上の軌道に合わせて調整する。これにより、ポリシーは元のタスクを続行できる。訓練不要で、凍結された VLA にそのまま適用できる点が特徴。

4. どうやって有効だと検証した？

複数のシミュレータ、複数の VLA バックボーン、および実世界の設定で広範な実験を行った。その結果、CoRe は成功率を最大 85.0 パーセントポイント向上させ、ほぼ名目レベルに達し、物理的な復元を 42.2% 削減した。ポリシーの微調整や失敗固有の回復訓練は行っていない。

5. 議論はある？

要旨からは、CoRe の限界や潜在的な欠点についての議論は不明である。ただし、合成観測の品質が回復性能に影響する可能性や、複雑な物理的摂動に対する頑健性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、VLA モデル、ロボット操作における失敗回復、推論時適応、counterfactual 推論に関する研究が関連する。具体的には、VLA モデルの基盤となる Vision-Language-Action モデル、ロボット操作の recovery 手法、および counterfactual な計画手法に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanyan Zhang, Disheng Liu, Kai Ye, Chaoda Song, Xinpeng Li, Mohsen Hariri, Vikash Singh, Yu Yin, Vipin Chaudhary

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language-action (VLA) models have improved the flexibility and generality of robotic manipulation, yet they remain fragile to online disruptions, such as changes in task goal, scene configuration, or robot state. Existing recovery methods often require failure data, policy retraining, or external corrective agents, introducing additional data requirements and execution risks. We propose Counterfactual Realignment (CoRe), a training-free framework that recovers a frozen VLA at inference time without failure data. Upon detecting a deviation, CoRe imagines how the policy would continue toward the current goal from a recent viable state, using synthesized observations in place of physical execution, and then minimally realigns the robot and scene to rejoin this imagined continuation before returning control to the policy. Recovery is therefore planned without physical trial-and-error, preserves completed task progress, and handles both mid-episode instruction changes and physical perturbations in a unified manner. Extensive experiments across multiple simulators, VLA backbones, and real-world settings show that CoRe improves success rates by up to 85.0 percentage points to near-nominal levels while reducing physical restorations by 42.2%, without policy fine-tuning or failure-specific recovery training.

arXivで原文を読む →arXiv概要ページ

← 論文一覧