ReAT: 自己回帰ロボット方策のための残差行動トークン化

- 連続的なaction chunkを離散トークン列に変換するautoregressive robot policy向けのaction tokenizer。 - 各トークンに、現在のaction reconstructionを洗練する明示的な役割を与える。 - デコード済み再構成をfeedbackとして使い、残差action errorから次トークンを生成する。 - これによりencodingとdecodingのループを閉じ、実際のdecoded prefixが残した誤差に各新トークンが応答する。

- 既存のaction tokenizerはaction chunkを離散コードから再構成できるが、各トークンが再構成に何をもたらすかが暗黙的だった。 - ReATは各トークンに再構成を洗練する明示的役割を与え、decoded prefixの誤差に応答させる点が異なる。 - 19のmanipulationタスク、3つのsimulation benchmarkとreal-world設定で、8-token ReAT policiesが評価したbaselinesよりtask successで優れる。 - LIBEROでは4-token ReATが評価した8-token action-tokenization baselinesを半分のtoken budgetで上回る。

- Residual Action Tokenization (ReAT)を提案。 - decoded reconstructionをfeedbackとして用い、残差action errorから次トークンを構築する。 - encodingとdecodingのループを閉じ、各新トークンが実際のdecoded prefixの誤差に応答する。 - これにより自己修正的なpolicy learningを支援し、autoregressive policyが自身のaction planを漸進的に洗練できるようにする。

- 19のmanipulationタスクで検証。 - 3つのsimulation benchmarksとreal-world settingsを含む。 - 8-token ReAT policiesが評価したbaselinesよりtask successで優れることを確認。 - LIBEROでは4-token ReATが評価した8-token action-tokenization baselinesを半分のtoken budgetで上回ることを確認。

- 結果は、自己修正的なpolicy learningを支援するaction tokenizationへの道筋を示唆。 - autoregressive policiesが自身のaction planを漸進的に洗練する学習を助ける可能性がある。 - 具体的な限界や失敗事例、計算コスト、real-worldでの詳細な議論は要旨からは不明。

- 要旨で参照/比較されている研究: 既存のaction tokenizers、評価したaction-tokenization baselines、LIBERO benchmark。 - 関連手法: autoregressive robot policies、action chunking、discrete token prediction。 - 同分野の定番: behavior cloning、transformer-based policies、VQ-VAEなどのaction tokenization手法。