CondenseVLA：効率的なマルチフレームVLAのための学習可能な履歴圧縮

- CondenseVLA は、短期の視覚的文脈を action decoding に活用する multi-frame VLA policy。 - VLM backbone から得た per-frame features の系列を入力とし、decoder 側に learnable な history condensation module を持つ。 - 観測履歴を固定数の slot tokens に蒸留し、短期的手がかり(接触・遮蔽・中間状態)を扱う。

- 履歴窓を単純に拡大する従来アプローチは計算コストが高く、冗長性と task-agnostic で柔軟性のない sampling のため利得が限定的だった。 - CondenseVLA は履歴を選択的に蒸留し、冗長性を抑えつつ action decoding に必要な短期視覚証拠を圧縮して使う点が異なる。 - Simpler-WidowX で 58.7%→69.8%(+11.1pt)、LIBERO 97.2%、実世界 52.8% を報告。

- VLM backbone の cached per-frame features 系列に対し、learnable queries と multi-head cross-attention で履歴を固定数の slot tokens に蒸留。 - 補助正則化として slot attention maps 間の重複を罰し、slot embeddings を無相関化し、相補的 attention と冗長性低減を促す。 - 蒸留された slot tokens を decoder 側で action decoding に用いる構成。

- 評価タスク全体で Simpler-WidowX 成功率を 58.7%→69.8%(+11.1pt)に改善。 - LIBERO で 97.2%、実世界タスクで 52.8% を達成。 - 記憶依存の RMBench タスクで 21.6% の成功率を報告。

- 結果は bounded な直近視覚証拠の選択的蒸留が action decoding に有効であることを支持。 - 一方、より難しい multi-observation タスクでは有限の history window の限界が露呈すると述べられている。 - 具体的な失敗分析や計算コストの詳細は要旨からは不明。

- 要旨で直接参照/比較されている個別研究は明示されていない。 - 関連手法として multi-frame VLA、VLM backbone の history window 拡大アプローチ、learnable queries と multi-head cross-attention を用いる slot attention 系、RMBench の記憶依存タスク関連研究を次に読む候補として挙げる。