行動表現の方向・スケール分解：VLAモデルで何をトークン化すべきかの再考

- 離散トークン型の Vision-Language-Action (VLA) 学習における action representation を再検討する研究。 - 従来の pose-increment 表現では action token が実行速度やデータセット固有の正規化に敏感で、実演やデータセット間で共有される幾何構造が隠れる可能性を指摘。 - 翻訳・回転の増分を direction と scale に分解してからトークン化する Direction-Scale Decomposition (DSD) を提案。 - 運動方向を分離し、大きさは別の scale チャネルに保持する。 - uniform binning (BIN) と B-spline ベースの tokenizer である BEAST の両方で評価。

- 従来の pose-increment 表現と比べ、action token が実行速度やデータセット固有の正規化に敏感で、幾何構造が隠れる問題に対処。 - DSD は direction と scale を分離することで、実演やデータセット間で共有される運動方向の構造を保持。 - LIBERO では両 tokenizer で平均成功率が向上。 - SimplerEnv の mixed-dataset training では DSD-BIN が BIN より overall success rate で 10.3 ポイント上回る。 - 実ロボット実験でも robotics pretraining の有無にかかわらず改善。 - 大規模で多様なデータセット混合時の性能劣化を緩和する可能性を示唆。

- 翻訳と回転の増分を direction と scale の成分に分解してからトークン化する action representation。 - 運動方向を分離し、大きさは別の scale チャネルに保持。 - tokenizer として uniform binning (BIN) と B-spline ベースの BEAST を使用。 - single-dataset training と mixed-dataset training の両方で評価。 - 詳細な分解アルゴリズムやトークン化手順は要旨からは不明。

- シミュレーションと実世界の manipulation で評価。 - LIBERO では DSD が両 tokenizer で平均成功率を改善。 - SimplerEnv では mixed-dataset training 下で DSD-BIN が BIN より overall success rate で 10.3 ポイント高い。 - 実ロボット実験でも robotics pretraining の有無にかかわらず改善を確認。 - 具体的なタスク数、試行回数、統計的有意性は要旨からは不明。

- DSD は離散トークン型 VLA モデルに対する有効な action representation であることを支持。 - 大規模で多様なデータセット混合で訓練する際の性能劣化を緩和する可能性を示唆。 - ただし、direction と scale の分離がなぜ有効か、どのような条件下で最も効果的かなどの詳細な議論は要旨からは不明。 - 限界や今後の課題については要旨からは不明。

- BEAST (B-spline-based tokenizer) の原論文。 - LIBERO ベンチマークの原論文。 - SimplerEnv ベンチマークの原論文。 - 離散トークン型 VLA モデルに関する代表的研究 (例: RT-2, OpenVLA など)。 - action representation や tokenization に関する関連研究。