日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.20429

離散行動はいつ連続制御器として優れているのか?

When Do Discrete Actions Make Good Continuous Controllers?

シェア:XThreadsFacebookLINEはてブBluesky

ロボット基盤モデルにおける連続行動表現の優位性を問い直し、離散行動予測がタスク成功率で連続行動方策に匹敵または凌駕することを示した。

詳しい要約

1. どんなもの?

- ロボット基盤モデルの行動表現として、連続ベクトルが当然視されている現状に疑問を投げる研究。 - 連続と離散の行動パラメータ化を、single-step regression と multi-step flow の両変種で比較。 - from-scratch の single-task と multi-task VLA 訓練、シミュレーションと実機の両方で検証。 - 離散行動予測(最も素朴な uniform-bin quantization でも)が連続行動ポリシーと同等以上にタスク成功率で匹敵しうることを示す。

2. 先行研究と比べてどこがすごい?

- 現代の AI モデル(LLM 等)は離散トークンを予測するが、ロボット基盤モデルは連続行動ベクトルを使うのが通説。 - 本研究はこの通説に挑戦し、連続が離散より優れるかを体系的に比較した点が新しい。 - 離散行動の課題は行動精度ではなく、時間・行動次元にわたる product-distribution 予測に起因する factorization error であると特定。 - 適切な介入(discrete flows による反復計算、classifier-free guidance による分布鋭化)で弱点を強みに変えられることを示す。

3. 技術・手法の肝は?

- single-step regression と multi-step flow の連続・離散両変種を比較する実験設計。 - 離散行動は uniform-bin quantization を含む離散化で表現。 - 離散 flow ポリシーに iterative computation を導入。 - classifier-free guidance による distribution sharpening を適用。 - 幾何情報を明示的に注入する試み(連続 flow matching を模した corruption processes)も検討。

4. どうやって有効だと検証した?

- from-scratch single-task と multi-task VLA 訓練の両設定で比較。 - シミュレーションと実機ハードウェアの両方で検証。 - 全レジームで離散行動予測が連続行動ポリシーと同等以上にタスク成功率で匹敵することを確認。 - 離散 flow ポリシーが予測行動チャンク内でより応答的な行動変化を可能にすることを示す。

5. 議論はある?

- 離散行動ポリシーの課題は行動精度ではなく factorization error であると議論。 - 幾何情報の明示的注入(連続 flow matching を模した corruption processes)は一貫した改善をもたらさないと報告。 - ロボット行動予測が他 AI 領域と異なる設計決定を要するという既存仮定に疑問を投げかける。 - 離散行動予測が今日の連続行動パラメータ化に代わる有力な選択肢となりうる可能性を動機づける。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: LLM、robotic foundation models、VLA、single-step regression、multi-step flow、continuous flow matching、classifier-free guidance、discrete flows。 - 関連手法として continuous action parametrizations、uniform-bin quantization、product-distribution predictions が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeji Yi, Soham Dasgupta, Xinyang Zhang, Koushil Sreenath, Guannan Qu, Xi Chen, Max Simchowitz, Guanya Shi

分類: cs.RO

原文アブストラクト

Though modern AI models like LLMs predict discrete tokens, today's robotic foundation models represent actions as continuous vectors. In this paper, we challenge this common consensus by asking if continuous action parametrizations are superior to their discrete counterparts. We conduct an extensive comparison of single-step regression and multi-step flow variants of both continuous and discrete policies in both from-scratch single-task and multi-task VLA training, in both simulation and on real hardware. In all regimes, we find that discrete action prediction, even the most naive, uniform-bin quantization, can match or even outperform continuous-action policies in task success rate. Moreover, we find that the challenge to discrete action policies is \emph{not} action precision, but rather factorization error introduced by product-distribution predictions across time and action dimensions. We show that, when paired with the correct interventions---iterative computation through discrete flows, or distribution sharpening through classifier-free guidance---discrete flow policies can turn this weakness into a strength, enabling more responsive action changes during a predicted action chunk. Lastly, we show that attempts to explicitly inject geometric information into discrete policies, e.g. through corruption processes that emulate continuous flow matching, do \emph{not} yield consistent improvements. Taken together, our findings question existing assumptions that robotic action prediction requires distinct design decisions compared to other AI domains, and motivates the possibility of discrete action prediction as a compelling alternative to today's continuous action parametrizations. Link for the webpage \href{https://iscoyizj.github.io/discrete-action-website/}{https://iscoyizj.github.io/discrete-action-website/}

関連論文

PR本紙発行元 EmplifAI