時間周波数幾何クロスアテンションによるチャンク型視覚言語行動モデルの改善

- 現代の vision-language-action (VLA) policy は action chunk を一括予測する。 - しかし chunk は短い多変量軌道でありながら、内部では per-timestep の汎用 hidden token 列として線形 head で復号される。 - これが周波数構造と位相間幾何構造を十分に扱えない問題を指摘。 - 提案は Time-Frequency Geometric Cross-Attention (TFGCA)。 - 周波数分解と near-orthogonality に敏感な cross-attention を組み込む drop-in module。

- 従来の VLA は action chunk を汎用 token 列として扱い、周波数や位相間幾何を明示的に扱わない。 - dot-product attention は整列した token を好み、near-orthogonal な関係に鈍い。 - TFGCA は per-dimension learnable stationary wavelet transform で時間周波数 token に分解。 - dot product と wedge-product magnitude を learnable weight で融合する cross-attention を導入。 - zero-initialized residual により pretrained VLA にそのまま載せて fine-tune 可能。

- per-dimension learnable stationary wavelet transform で action chunk を time-frequency token に分解。 - 各 time token が time-frequency token から情報を取得する cross-attention を構成。 - cross-attention は dot product (similarity) と wedge-product magnitude (near-orthogonality に敏感) を learnable weight で融合。 - zero-initialized residual により初期化時は base の挙動を再現。 - pretrained VLA に drop-in し joint fine-tuning 可能。

- 同一 source の base と比較。 - in-distribution LIBERO で平均 +1.5 改善。 - OOD LIBERO-Plus で +6.3 改善。 - RoboTwin domain randomization 下の randomized average で +28.5 改善。 - 実機 AgiBot A2 の 3 タスクで overall success rate が +11.67 points 改善し、out of distribution でより大きな利得。

- 要旨からは不明。 - ただし周波数と cross-phase geometry の両盲点を修復する設計意図が述べられている。 - zero-initialized residual により base 挙動を保つ点が議論の前提として示される。 - 具体的な限界や失敗事例、計算コストの議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として vision-language-action (VLA) policy、action chunk、dot-product attention、wavelet transform が挙げられる。 - 同分野の定番として LIBERO、LIBERO-Plus、RoboTwin、AgiBot A2 を用いた研究を次に読むべき。 - 具体的な論文名は要旨からは不明。