何が起きたか

arXiv掲載論文は2026年11月19日、フローベースVLAの行動列で最初と最後のトークンに注意が集まる現象を検証した。π0.5の1チェックポイントをRoboCasaの5タスクで調べ、両端トークンは行動キーの注意量の5.4%を受け、一様分布より1.4ポイント高かった。研究は、この両端を言語モデルの「注意の吸い込み先」と同様に扱う解釈を支持しないと報告した。

詳細

両端への注意量の超過について、研究は回転位置埋め込み(RoPE)が生じさせると説明する。浅い層では直接的に、深い層では上流の行動トークンに適用されたRoPEを介して現れるという。一方、両端の値ベクトルのノルムは18層すべてで行動トークンの平均付近だった。 250組の対応エピソードでは、両端をマスクするか値をゼロにしても成功率の変化は4ポイント未満だった。別の観測から値の方向を移すと、3つの提供元で成功率が3.2〜7.2ポイント低下したが、実行される接頭部にある両端以外の2トークンで同様に置換すると28.4ポイント低下した。接頭辞BOSは注意量と値ノルムの両面で吸い込み先の特徴に合致し、値をゼロにすると対応する2回の実験で成功率がそれぞれ13.2ポイント、6.0ポイント上昇した。別タスクで推定した相対オフセット型のルーティングは、保留タスク3件で成功率42.7%を保ち、一様またはシャッフルしたルーティングでは3〜4%だった。

Key Facts

検証対象はπ0.5の1チェックポイントで、RoboCasaの5タスクだった。[1]
行動列の両端は行動キーの注意量の5.4%を受け、一様分布より1.4ポイント高かった。[1]
両端の値ベクトルのノルムは18層すべてで行動トークンの平均付近だった。[1]
250組の対応エピソードで、両端のマスクまたは値のゼロ化による成功率の変化は4ポイント未満だった。[1]
相対オフセット型ルーティングは保留タスク3件で成功率42.7%を維持し、一様またはシャッフルでは3〜4%だった。[1]

本紙の見方

この研究の新しさは、行動列の端に注意が集まるという観察と、その端が出力にほとんど寄与しない「吸い込み先」だという機能解釈を分けて検証した点にある。従来の解釈では端点の高い注意量を実行ホライズンの設定に用いていたと論文は説明するが、今回検証したのは吸い込み先の性質であり、ホライズン設定ルールの妥当性ではない。この区別を保たなければ、注意の可視化から制御上の機能までを早計に推定することになる。 結果は、注意量だけでなく値ベクトルの規模や、値を変えたときの行動への影響も見る必要を示す。両端は一様分布より注意を受ける一方、値ノルムは通常の行動トークンに近く、マスクやゼロ化の影響も小さかった。対照的に、接頭部の別トークンを置換した場合は成功率が28.4ポイント下がり、BOSの値をゼロにした実験では成功率が上昇した。したがって、注意の集中度と制御への寄与は同じ指標では捉えられず、BOSの結果も含め、トークンの役割は介入実験と合わせて評価する必要があるとみられる。 さらに、相対オフセット型のルーティングが保留タスクで成功率を保ち、一様・シャッフル方式では大きく低下した結果は、行動チャンク内の位置関係に沿う情報の流れが、この評価条件では重要だったことを示す。ただし、検証はπ0.5の1チェックポイントと限られたタスクに基づく。別のチェックポイントやロボット環境でも同じ端点・BOSの性質が再現するか、また、今回対象外とされたホライズン設定ルールがどの条件で有効かは、この結果だけでは決められない。次に確認すべきなのは、複数モデル・タスクでの再現性と、注意パターンへの介入が閉ループ制御に及ぼす影響である。

なぜ重要か

VLAの注意マップで行動列の端に強い注意が見えても、それだけで端点を無視できるトークンとは判断できないことを、値ベクトルと介入後の成功率の比較が示している。モデルの制御経路を解析する際は、注意量に加え、トークンの値や実行結果への影響を確認する必要がある。