Vision-Language-Actionモデルは指示を理解しているのか？言語グラウンディングに関するメカニスティック解釈可能性研究

- Vision-Language-Action models (VLAs) の language grounding を調べる研究。 - 対象は $π_{0.5}$ と GR00T N1.7 の2つの state-of-the-art VLAs。 - 行動生成が言語指示に依存するか、視覚的手がかりや表面的相関に依存するかを検証。 - LIBERO benchmark の入力サンプルの task instruction を5戦略で corrupt。 - activation patching と attribution patching を action generation modules の residual stream に適用。

- VLAs は明示的な grounding module を持たず、Vision-Language model backbone の内在的 grounding 能力に依存。 - 従来はこの grounding 能力のメカニズム解明が不十分。 - 本研究は mechanistic interpretability を VLA の language grounding に適用。 - 2モデルを制御実験で比較し、感度の locus や因果効果の違いを明らかに。 - attribution patching の信頼性がモデル依存であることを示す。

- activation patching と attribution patching を action generation modules の residual stream に適用。 - task instruction を5戦略で corrupt: synonym replacement, semantic scaling, directional corruption, random object substitution, empty string。 - LIBERO benchmark の入力サンプルを使用。 - 各モデルの感度を層ごとに分析。 - GR00T N1.7 では early, periodic cross-attention layers に集中、$π_{0.5}$ では earliest と selected later layers に分散。

- LIBERO benchmark 上で2モデルの language grounding を系統的に評価。 - 5つの corrupt 戦略に対する感度を比較。 - 抽象的な言い換えや存在しない物体への参照には比較的鈍感。 - 空の task description や directional language には強く反応。 - GR00T N1.7 では directional perturbations が最大の因果効果を生むが内部表現幾何は比較的変化しない dissociation を観察。 - attribution patching は GR00T N1.7 では activation patching とよく一致するが $π_{0.5}$ では一致しない。

- 両モデルは抽象的言い換えや非存在物体参照に鈍感。 - 空文字列や directional language に強く反応。 - 感度の locus はモデル間で異なる。 - GR00T N1.7 で見られる因果効果と表現幾何の dissociation は $π_{0.5}$ では明確でない。 - attribution patching の信頼性はモデル依存。 - 実世界展開には視覚・言語観測空間の分散への頑健性が重要。

- $π_{0.5}$ の論文 - GR00T N1.7 の論文 - LIBERO benchmark の論文 - activation patching の原論文 - attribution patching の原論文 - Vision-Language-Action models の survey