日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.18487

ActionPiece：自己回帰型視覚言語行動モデルのための行動トークン化の再考

ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

行動トークン化の関係的忠実度を測る「物理ランク整合性（PRC）」を提案し、表現学習と量子化を共同監督するActionPieceで局所的な行動の順序関係を保つトークン化を実現した。

詳しい要約

1. どんなもの？

- 自己回帰型 VLA モデル向けの action tokenizer を再検討する研究。 - 従来の pointwise な MSE では、文脈ごとの action 調整の保持を評価できないと指摘。 - 局所的な物理距離順序の保持を測る physical rank consistency (PRC) を提案。 - 表現学習と量子化を同時監督する ActionPiece を提案。 - 凍結 decoder で実行可能な離散 action token を生成。

2. 先行研究と比べてどこがすごい？

- 従来は MSE などの pointwise reconstruction 指標で tokenizer の忠実度を評価。 - 圧縮後も類似 action が代表動作に集約され、文脈依存の調整が減衰・歪曲・逆転しうる。 - PRC は復号 action の局所物理距離順序を測り、語彙や decoder に依存しない共通参照を提供。 - ActionPiece は物理関係監督により、再構成と関係忠実度を両立。 - 同一 Qwen3-VL-4B 設定で LIBERO 94.8%、unseen LIBERO-Plus 68.8% を達成。

3. 技術・手法の肝は？

- 表現学習と量子化の joint supervision で物理的 action 関係を保持。 - Physical rank preservation が encoder と量子化特徴距離の near-far 順序を監督。 - Quantization regularization が同じ順序を codeword assignment 分布に適用。 - 両目的を reconstruction に追加し、離散 action token を生成。 - 標準的な自己回帰 policy learning と凍結 decoder による実行に対応。

4. どうやって有効だと検証した？

- 同一 Qwen3-VL-4B policy training 設定で評価。 - LIBERO で 94.8%、unseen LIBERO-Plus で 68.8% を達成。 - SimplerEnv で 71.9%、VLA-Arena L0-L2 で 51.5% を達成。 - Component ablations により、2 つの目的が PRC と policy success を共に改善することを確認。 - 物理関係監督が action tokenization に有効であることを示す。

5. 議論はある？

- pointwise な MSE だけでは action 調整の保持を十分に特徴づけられない。 - 圧縮後に類似 action が代表動作へ集約され、文脈依存の調整が損なわれる可能性。 - PRC は復号 action を共通参照として、語彙や decoder 間の比較を可能にする。 - 物理関係監督が再構成を補完し、関係忠実度を高める意義を議論。 - 詳細な限界や失敗事例は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として autoregressive VLA models、action tokenizers、Qwen3-VL-4B、LIBERO、LIBERO-Plus、SimplerEnv、VLA-Arena が挙げられる。 - 同分野の定番として vision-language-action (VLA) モデル、action tokenization、自己回帰 policy learning を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shijie Lian, Bin Yu, Zhaolong Shen, Xiaopeng Lin, Yichao Du, Zhirui Zhang, Laurence T. Yang, Kai Chen

分類: cs.RO, cs.AI, cs.CL, cs.CV

原文アブストラクト

Action tokenizers play a central role in autoregressive vision-language-action (VLA) models, determining both the targets for policy training and the executable commands recovered from predicted tokens. Their fidelity is commonly evaluated using pointwise reconstruction metrics such as mean squared error (MSE), yet small individual errors do not fully characterize how faithfully action adjustments across demonstrations are preserved. After compression, similar actions may still cluster around a representative motion, while the adjustments needed for different contexts are diminished, distorted, or even reversed. We introduce physical rank consistency (PRC) to measure how well tokenization preserves local physical distance rankings after reconstruction. Evaluating decoded actions provides a common reference across token vocabularies and decoder architectures, complementing pointwise accuracy with a measure of relational fidelity. We further present ActionPiece, which preserves physical action relationships through joint supervision of representation learning and quantization. Physical rank preservation supervises near-far ordering in encoder and quantized feature distances, while quantization regularization applies the same ordering to codeword assignment distributions. Both objectives augment reconstruction, producing discrete action tokens for standard autoregressive policy learning and execution through a frozen decoder. Under the same Qwen3-VL-4B policy training setup, ActionPiece achieves 94.8% on LIBERO and 68.8% on unseen LIBERO-Plus, with additional evaluations reaching 71.9% on SimplerEnv and 51.5% across VLA-Arena L0-L2. Component ablations show that the two objectives jointly improve PRC and policy success, demonstrating the value of physical relationship supervision for action tokenization.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI