視覚言語行動モデルにおける目標表現の局在化と編集

- OpenVLA が「do not put the bowl on the stove」のような禁止(negation)指示に従うか、また実行する goal をどこに表現しているかを調べる研究。 - LIBERO-Goal の 10 タスクが同一 scene を共有する性質を利用し、各 rollout が実行した goal をラベル付けできる。 - closed-loop rollouts に activation patching、linear probes、activation steering、runtime monitors を組み合わせて解析する。

- 従来の VLA 評価は成功率中心で、negation の効果や goal 表現の位置を内部解析した点が新しい。 - LIBERO-Goal の同一 scene 設計を利用し、rollout ごとに実行 goal を特定できる点が先行設定と異なる。 - 禁止指示の無効性を行動レベル(79%)と probe レベル(「not X」と「X」で同様の read-out)の両面から示す。

- closed-loop rollouts で negation の有無による実行タスクを比較。 - activation patching で first action が instruction tokens(層12以前)と last prompt token(層16以降)に依存することを特定。 - linear probe で goal read-out を抽出し、activation steering で固定 steering vector を instruction tokens の層8に適用。 - 層12〜20の prefill patches や固定 vector、層16以降の decoded action token ごとの patch を比較。 - 層32の goal read-out と image/instruction 特徴の external probe を runtime monitor として評価。

- LIBERO-Goal 上で negated rollouts の 79% が forbidden task を実行、plain tasks は 78% 完了。 - goal probe が「not X」と「X」で同様の read-out を示すことを確認。 - 層8 instruction tokens の固定 steering vector で 18 中 12 rollouts を redirect。 - 層12〜20の固定 vector と prefill patch は 158 中 0 を redirect。 - 層16以降は全 decoded action token への patch のみ有効(層24で 18 中 15)。 - rollout 中の instruction 変更時、層32 goal read-out が failure detectors より非遵守検出に優れ、external probe も同等。

- 禁止指示を instruction 内で強制するのではなく、外部で enforcement し goal read-out を specification に対して監視する方針を支持。 - OpenVLA の goal edit は層12以前に行うか、全 action token に patch する必要がある。 - negation が行動に検出可能な影響を与えないという結果の一般性や、他 VLA・他 benchmark への拡張性は要旨からは不明。

- OpenVLA(本論文で解析対象)。 - LIBERO-Goal(評価 benchmark)。 - activation patching、linear probe、activation steering、runtime monitor の各手法。 - 比較対象として failure detectors、external probe。 - 関連する VLA 研究として RT-2 や Octo など同分野の定番モデル。