VLA/強化学習2026/8/22arXiv:2608.21740

CounterAlign: 視覚言語行動モデルのための反事実的監督

CounterAlign: Counterfactual Supervision for Vision-Language-Action Models

専門家のデモンストレーションのみから、指示を入れ替えることで反事実的なデータを合成し、オフライン強化学習の報酬モデルを学習する手法を提案。ロボット操作の堅牢性を向上させる。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) モデルをオフライン強化学習 (RL) で学習する際に、専門家のデモンストレーションのみから密な修正信号を生成する手法「CounterAlign」を提案する。従来のBehavior Cloning (BC) は専門家の行動に対する正の教師信号のみを提供するが、本手法は指示の言い換え (instruction relabeling) により、専門家の行動と不一致な代替指示をペアリングし、反事実的な (counterfactual) 指示-観察-行動タプルを合成する。さらに、敵対的判別器 (adversarial discriminator) を用いて指示に基づく報酬モデルを学習し、追加のロールアウトやアノテーションなしでオフラインRLを実行する。

2. 先行研究と比べてどこがすごい？

先行研究のBCは正の教師信号のみで、指示と矛盾する行動に対する負の教師信号が欠如している。RLは修正信号を提供できるが、外部指定の報酬や厳選された非専門家データに依存し、ロボティクスでは取得コストが高い。本手法は、専門家のデモンストレーションのみから反事実的な指示を合成することで、追加のデータ収集やアノテーションなしに密な修正信号を生成できる点が新しい。

3. 技術・手法の肝は？

手法の核は、専門家のデモンストレーションから反事実的な指示-観察-行動タプルを合成すること。具体的には、専門家の行動とペアになる元の指示とは異なる代替指示をデータセットから選び、それらを組み合わせて反事実的なタプルを作る。次に、敵対的判別器 (adversarial discriminator) を訓練し、指示と行動の整合性を評価する報酬モデルを学習する。この報酬モデルを用いてオフラインRLを実行し、VLAモデルを微調整する。追加のロールアウトやアノテーションは不要。

4. どうやって有効だと検証した？

ロバストネスに焦点を当てたLIBERO-PROベンチマークで、オブジェクト位置とタスク摂動に対するロバスト性を、強力なstate-of-the-artベースラインと比較して改善した。また、実ロボット実験 (TX-G2、AGIBot G2互換) で競合ベースラインを上回る性能を示した。

5. 議論はある？

要旨からは、提案手法がデータ制約のあるVLA学習において、各デモンストレーションからより密な監督を抽出することが、追加データ収集を補完できることを示唆している。しかし、具体的な限界や議論（例えば、指示の言い換えの多様性、敵対的訓練の安定性、実ロボット実験の詳細など）は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている研究は、Behavior Cloning (BC)、Reinforcement Learning (RL)、Vision-Language-Action (VLA) モデル、LIBERO-PROベンチマーク、AGIBot G2など。次に読むべき論文としては、VLAモデルの基礎となる論文（例: RT-1, RT-2, Octo）や、オフラインRLの手法（例: IQL, CQL）が考えられるが、要旨に明示されていないため、具体的なタイトルは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haru Kondoh, Kei Ota, Asako Kanezaki, Yueh-Hua Wu

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models are typically trained with behavior cloning (BC) on expert demonstrations. However, BC provides only positive supervision for expert actions, without explicit negative supervision indicating which actions are instruction-inconsistent or otherwise inappropriate. Reinforcement learning (RL) can provide such corrective signals, but often relies on externally specified rewards or curated non-expert data, both of which are costly to obtain in robotics. We show that offline RL for VLA models need not rely on curated non-expert trajectories: successful expert demonstrations alone can be transformed into dense corrective supervision through instruction relabeling. Specifically, by pairing expert actions with mismatched alternative instructions, we synthesize counterfactual instruction-observation-action tuples from the dataset and combine them with adversarial discriminator training to learn an instruction-grounded reward model for offline RL, without collecting additional rollouts or annotations. On the robustness-focused LIBERO-PRO benchmark, our method improves robustness to object position and task perturbations over a strong state-of-the-art baseline. It also outperforms competitive baselines in real-robot experiments on the TX-G2 (compatible with AGIBot G2). More broadly, our results suggest that, for data-constrained VLA learning, extracting denser supervision from each demonstration can complement collecting additional data.

arXivで原文を読む →arXiv概要ページ