ActionCodec2: ストリーミング動作トークナイザ

- 自己回帰型 VLA (vision language action) モデル向けの action tokenizer - 従来は motion を chunk 単位で圧縮し、全 decode 後にしか実行できなかった - ActionCodec2 は非 neural の streaming tokenizer で、軌道再構成誤差を規定の tolerance 内に保ちつつ action を逐次放出する - 出力は motion primitive 列で、Set-BPE により座標・隣接 step を跨いで lossless に merge される - 20k 時間・24 embodiments で学習した universal 版は 15 Hz end-effector motion で平均 8.8 tokens/s

- 既存の action tokenizer は chunk 全体を decode するまで action が実行不能 - 本手法は streaming に action を逐次解放できる点が異なる - encoder が decoder の再構成状態を基準に各 step を量子化するため、独立量子化の誤差蓄積を避けられる - 最小 primitive 集合を geometric covering として定式化し、translation では厳密最小、rotation では constant-factor-tight bound を導出 - 同一 VLA backbone で比較 tokenizer を 3 つの simulation benchmark と zero-shot real-robot 評価で上回る

- 非 neural の streaming tokenizer - encoder は decoder の reconstructed state に対する残差を量子化し、選ばれた motion primitive が残差を補正する - 最小 primitive 集合の設計 - translation は geometric covering の厳密最小を導出 - rotation は constant-factor-tight bounds を導出 - Set-BPE - 座標や隣接 step で共起する primitive symbol を固定順序なしで lossless に merge - universal 版を 20k 時間・24 embodiments のデータで fit

- 同一 VLA backbone で比較 tokenizer と比較 - 3 つの simulation benchmarks で優位 - zero-shot real-robot evaluation でも優位 - streaming 表現の効果を検証 - randomized dynamics、external disturbances、moving objects 下で、open-loop 実行より state feedback を action chunk 内に取り込める分 performance が向上 - VLM agent の直接制御 interface としても検証 - 成功 action 列を reusable macro として構成 - 試行を跨いで control decisions と thinking-token usage を削減し、held-out task へ transfer

- 要旨からは不明 - 具体的な限界、失敗事例、計算コスト、tolerance 設定の感度などは述べられていない - 示唆される論点 - streaming 化により closed-loop 的 feedback が可能になる一方、token レート (8.8 tokens/s) と制御周波数の関係 - agent-built macro の汎化範囲と再利用性

- 比較対象として言及される action tokenizer 群 (具体的名称は要旨からは不明) - 関連手法として autoregressive VLA モデル、Set-BPE、geometric covering に基づく量子化 - 同分野の定番として action chunking (ACT) や diffusion policy 系の action 表現に関する研究