TRIAGE：視覚言語行動モデルの効率的推論には再利用と枝刈りの両方が必要

- 対象は Vision-Language-Action (VLA) モデルの推論高速化 - ロボット操作向けに camera 画像と言語指示から直接 action を生成 - mobile manipulator や humanoid など onboard embedded board 上での実行を想定 - 問題は言語 backbone の prefill latency - 制御ステップごとに数百の visual token を処理するため latency が増大 - 提案手法 TRIAGE は training-free な accelerator - visual token を recompute / reuse / prune に振り分ける - prefill latency を直接制御できる

- 既存の training-free accelerator は visual token の一部のみ再計算し、残りを skip - skip の方法として pruning か cached key-value (KV) states の reuse のいずれか一方のみを全 skip token に適用 - 両者は計算削減量がほぼ同じだが、どちらが action を full recomputation に近づけるかは未検討 - 提案手法は token ごとに reuse と prune を適応的に使い分ける点が新しい - prune-only と reuse-only を両極端とする一般化と位置づけ - 実験では強い baseline を大きく上回る - LIBERO-Object で visual token の 7% のみ再計算し、最強 baseline を 24.4 pp 上回る

- token-level diagnostic により、skip token の扱いを drift で判断 - drift は cache 計算時以降の shallow-layer value の変化量 - 知見: drift が閾値未満なら reuse は prune と同等以上、閾値超では reuse の action error が prune の最大 4.4x - この閾値は backbone ごとに diagnostic で calibration - TRIAGE の判定 - cache が有効 = drift が閾値未満かつ古すぎない - 固定 budget の token を再計算し、invalid cache の重要 token を優先 - 残りは valid cache なら reuse、それ以外は prune - budget が再計算 token 数を固定するため prefill latency を直接設定できる

- backbone 2 種で token-level diagnostic を実施 - drift 閾値の前後で reuse と prune の action error を比較 - LIBERO と SimplerEnv で評価 - full recomputation の平均 success rate から 3 pp 以内を維持 - Jetson AGX Orin 上で prefill latency を最大 48% 削減 - LIBERO-Object では visual token の 7% のみ再計算で最強 baseline を 24.4 pp 上回る

- drift 閾値は backbone ごとに calibration が必要 - 他 backbone やタスクへの一般性は要旨からは不明 - cache の古さ (too old) の具体的な判定基準は要旨からは不明 - 評価は LIBERO と SimplerEnv、Jetson AGX Orin に限定 - 実機 mobile manipulator や humanoid での検証は要旨からは不明 - 固定 budget の設定方法や重要 token の選定基準の詳細は要旨からは不明

- prune-only および reuse-only の既存 training-free accelerator (要旨で比較対象として言及) - VLA モデルの visual token pruning 関連研究 - KV cache reuse を用いた efficient inference 研究 - LIBERO および SimplerEnv の benchmark 論文 - Jetson AGX Orin 上の onboard VLA 推論に関する研究