2026/8/1arXiv:2608.13474

Decoding Task Progress from VLA Representations

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action Models (VLAs) の内部表現を理解し、実行時監視に活用するための研究。具体的には、π0.5のresidual streamをmechanistic interpretabilityの手法でプロービングし、タスクの進捗（正規化された残り時間）が線形に読み取れることを発見した。この信号はロボットデータで訓練する前のPaliGemmaバックボーンに既に存在し、単一の線形プローブが未見タスクに汎化し、マルチプロンプトデータで訓練すると言語の反事実に応じて変化するが、ポリシーのsteeringには使えない。この信号をラベルなしOOD検出器として利用し、停滞したタスク進捗を検出できることを示した。

2. 先行研究と比べてどこがすごい？

従来のVLA研究はモデルの性能向上に焦点を当てており、内部表現の解釈や実行時監視のためのツールが不足していた。本論文はmechanistic interpretabilityのアイデアをVLAに適用し、タスク進捗のような意味的量が線形に読み取れることを初めて示した点が新しい。また、OOD検出をラベルなしで行う軽量な手法を提案し、既存のstate-of-the-art手法と競合する性能を達成した。

3. 技術・手法の肝は？

手法の核は、π0.5のresidual streamから活性化を抽出し、線形プローブを訓練してタスク進捗を予測すること。プローブは正規化された残り時間を回帰する。訓練はロボットデータを用いず、PaliGemmaの事前学習表現を利用する。マルチプロンプトデータで訓練すると、言語の反事実（例：プロンプトの変更）に応じてプローブの出力が変化することを確認。OOD検出では、プローブが予測するタスク進捗が停滞（進まない）場合にOODと判定する。

4. どうやって有効だと検証した？

有効性の検証は、未見タスクへの汎化性能を評価し、単一の線形プローブが高い精度でタスク進捗を予測できることを示した。また、言語の反事実に対する感度をテストし、プローブが言語変化に応答することを確認。OOD検出タスクでは、停滞したタスク進捗を検出する性能を既存手法と比較し、競合する結果を得た。具体的な数値やデータセットは要旨からは不明。

5. 議論はある？

議論としては、タスク進捗信号が事前学習済みのPaliGemmaに既に存在することは、VLAがロボットデータに依存せずに意味的表象を獲得していることを示唆する。しかし、この信号がポリシーのsteeringには使えないため、内部表現の操作による制御には限界がある。また、OOD検出器としての利用は有望だが、他のOODタイプへの適用可能性や、プローブの訓練データの多様性の影響などは要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている研究は、π0.5（VLAモデル）、PaliGemma（バックボーン）、mechanistic interpretabilityの手法、OOD検出のstate-of-the-art手法。次に読むべき論文としては、VLAの内部表現を扱った他の解釈可能性研究や、OOD検出の詳細な手法を提案した論文が考えられるが、具体的なタイトルは要旨にないため、同分野の定番として、"Interpretability in Vision-Language-Action Models"や"Out-of-Distribution Detection for Robot Policies"などの一般名を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

分類: cs.RO

原文アブストラクト

Vision-language-action models (VLAs) are moving rapidly towards deployment as general-purpose manipulation policies, but we currently lack basic tools for understanding what these models represent internally or for monitoring them at runtime. Leveraging ideas from mechanistic interpretability, we probe the residual stream of $\pi_{0.5}$ and find that task progress, the normalized time remaining in a trajectory, is linearly readable from the activations. We find that this signal is present in the pretrained PaliGemma backbone prior to training on any robot-specific data. A single linear probe generalizes to unseen tasks and varies under language counterfactuals when trained on multi-prompt data, but does not enable meaningful steering of the policy. These properties make the signal directly useful for instrumenting deployed VLAs. We use the probe as a simple label-free OOD detector, which detects stalled task progress, and find it competitive with state-of-the-art methods. Our results suggest that VLAs have rich, linearly readable internal representations of semantic quantities like task progress, and that learning to read these signals offers a lightweight, interpretable path toward monitoring deployed visuomotor policies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧