VLA表現からのタスク進捗の解読

本論文は、Vision-Language-Action Models (VLAs) の内部表現を解釈するための研究である。具体的には、π0.5 の residual stream に線形プローブを適用し、タスクの進捗（trajectory の正規化された残り時間）が活性化から線形に読み取れることを示す。この信号は、ロボットデータで訓練する前の事前学習済み PaliGemma backbone に既に存在し、未見のタスクにも一般化する。さらに、このプローブをラベルなし OOD 検出器として利用し、タスクの停滞を検出できることを示す。

従来の VLA 解釈研究は、モデルの内部表現を理解するための基本的なツールが不足していた。本論文は、mechanistic interpretability のアイデアを取り入れ、VLA の residual stream に線形プローブを適用することで、タスク進捗のような意味論的量が線形に読み取れることを初めて示した点が新しい。また、この信号が事前学習済みの vision-language backbone に既に存在することを発見し、ロボットデータに依存しないことを示した。さらに、プローブを OOD 検出に応用し、既存の最先端手法と競合する性能を達成した点も貢献である。

手法の核は、π0.5 の residual stream の活性化に対して線形プローブを訓練することである。プローブは、タスク進捗（正規化された残り時間）を予測するように学習される。訓練には、マルチプロンプトデータを使用し、言語の反事実に対する感度を調べた。また、プローブをラベルなし OOD 検出器として使用する際には、タスク進捗の停滞を検出するために、プローブの予測値の変化を利用する。

有効性の検証は、以下の方法で行われた。まず、単一の線形プローブが未見のタスクに一般化することを確認した。次に、マルチプロンプトデータで訓練した場合、言語の反事実に対してプローブの出力が変化することを示した。さらに、プローブを OOD 検出器として使用し、タスクの停滞を検出する実験を行い、state-of-the-art 手法と競合する性能を達成した。

議論として、プローブはポリシーの意味のある steering には使用できないことが挙げられる。また、タスク進捗の信号が事前学習済み backbone に存在する理由や、その起源については要旨からは不明である。さらに、OOD 検出の性能は特定のタスクやデータセットに依存する可能性があり、汎用性についてはさらなる検証が必要である。

次に読むべき論文は、要旨で参照されている mechanistic interpretability の手法に関する研究や、VLA の内部表現を解析した他の研究が考えられる。具体的には、線形プローブを用いた解釈可能性の研究や、OOD 検出のための既存手法（例えば、energy-based OOD detection など）が関連する。