フローマッチングにおける条件付きアニーリングによる因果的行動トークン化の再考

- 自己回帰型 Vision-Language-Action (VLA) モデル向けの新しい action tokenizer である CATok を提案する研究。 - tokenization を圧縮問題ではなく、因果的に構造化された生成プロセスとして再定義する。 - conditional annealing により flow-matching 過程を段階的に annealing し、各 token を先行 token に条件付けつつ特定ノイズレベルの残差再構成信号として抽出する。 - coarse-to-fine の因果的 token 空間を構築し、自己回帰モデリングと生成意味論を構造的に整合させる。 - MMDiT ベースの token-conditioned flow-matching decoder で連続 action chunk を再構成する。

- 既存の action tokenizer は tokenization を圧縮問題として扱い、自己回帰バックボーンと意味的に不整合な表現を生成していた。 - CATok は因果的生成プロセスとして再定義し、自己回帰モデリングと構造的に整合する token 空間を実現する。 - 離散ボトルネックにより knowledge insulation を設計上強制し、明示的な attention masking なしで高レベル意味推論と低レベル運動実行を分離する。 - 3つの simulation benchmark と実世界ロボット操作タスクで、再構成忠実度-圧縮トレードオフと推論効率の両方で既存手法を一貫して上回る。 - VLA タスク成功率と学習効率も改善し、純粋な自己回帰 VLA システムの高性能でスケーラブルな基盤を確立する。

- tokenization を因果的に構造化された生成プロセスとして再定義する。 - conditional annealing 機構を導入し、flow-matching 過程を段階的に annealing して action token を抽出する。 - 各 token は先行する全 token に条件付けられ、特定のノイズレベルにおける残差再構成信号を符号化する。 - これにより coarse-to-fine の因果的 token 空間を構築し、生成意味論を自己回帰モデリングと構造的に整合させる。 - Multimodal Diffusion Transformer (MMDiT) に基づく token-conditioned flow-matching decoder が、離散 token から連続 action chunk を hybrid diffusion-head アーキテクチャ並みの精度で再構成する。 - 離散ボトルネックが knowledge insulation を設計上強制し、明示的な attention masking を不要にする。

- 3つの simulation benchmark と実世界ロボット操作タスクで広範に評価した。 - 再構成忠実度-圧縮トレードオフと推論効率の両面で既存 tokenization 手法を一貫して上回ることを示した。 - VLA タスク成功率と学習効率の改善も確認した。 - 詳細な実験設定やベースラインは要旨からは不明。

- 要旨からは不明。 - 想定される論点として、conditional annealing の設計選択、離散ボトルネックの情報損失、実世界タスクへの汎化性、計算コストなどが考えられるが、要旨には明示されていない。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Autoregressive Vision-Language-Action (VLA) モデル、flow matching、Multimodal Diffusion Transformer (MMDiT)、hybrid diffusion-head architectures、既存の action tokenizer が挙げられる。 - 同分野の定番として、RT-1、RT-2、Diffusion Policy、ACT などが次に読む候補となる。