継続か再計画か？適応的実行期間のためのベルヌーイ継続方策学習

既存のchunk-based Vision-Language-Action (VLA)モデルは、固定数のアクション（実行ホライズン）を実行してから再計画するため、再計画がタスクの進捗と無関係な周期的スケジュールになっている。この問題に対し、提案するBernoulli-Continuation Policy (BCP)は、ベースのVLAを凍結したまま、軽量でプラグアンドプレイな適応的実行ホライズンフレームワークを提供する。固定長のアクションチャンクが与えられると、continuation headが実行ホライズン選択を「続行か再計画か」の一連の決定に分解し、候補ホライズンに対して順序的で接頭辞共有の帰納的バイアスを課す。最適なホライズンは観測不可能なため、このヘッドを軌跡レベルの結果からの強化学習で訓練し、タスク成功とVLA使用効率を同時に報酬とするReplanning-Efficiency Rewardを導入する。

従来のchunk-based VLAモデルは固定ホライズンで周期的に再計画するため、重要な操作段階の前に再計画境界がないと、古いチャンクで実行されてしまう。BCPは、タスクの進捗に応じて再計画のタイミングを適応的に決定することで、この問題を解決する。また、ホライズン選択を独立したクラス分類ではなく、順序的で接頭辞共有の構造を持つ逐次決定問題として扱う点が新しい。さらに、最適ホライズンが観測不可能な問題に対して、軌跡レベルの報酬を用いた強化学習を導入し、タスク成功と効率を同時に最適化する点も先行研究と異なる。

BCPは、ベースのVLAモデルにcontinuation headを追加する。このヘッドは、各タイムステップで「続行」か「再計画」かをベルヌーイ分布から決定する。これにより、候補ホライズンは順序的で接頭辞共有の構造を持つ。訓練は強化学習（RL）で行われ、報酬はReplanning-Efficiency Rewardで、タスク成功とVLA使用効率（再計画回数のペナルティ）を組み合わせる。これにより、不必要に短いホライズンへの崩壊を防ぐ。ベースのVLAは凍結され、continuation headのみが訓練される。

RoboTwin 2.0でLingBot-VLAをベースポリシーとして評価し、13の低成功率タスクで平均成功率+11.08%、全50タスクで89.88%から93.94%（+4.06%）に改善。Clean設定でのみ訓練したが、Randomized設定でも平均成功率+4.06%の汎化を示した。また、異なるベースポリシーπ0.5に転移し、LIBEROで+1.7%、より難しいLIBERO-PROで+6.8%の改善。実ロボットでは2つの操作タスクで成功率が74%から92%、44%から84%に向上。オーバーヘッドは無視できる程度で、成功率が高いため、固定ホライズンのベースラインよりも総実行時間が短い。

要旨からは、BCPの汎化性や限界についての議論は不明。ただし、Clean設定でのみ訓練したがRandomized設定に汎化したことから、設定間の転移可能性が示唆される。また、異なるベースポリシーへの転移も確認されており、プラグアンドプレイ性が示されている。しかし、より複雑なタスクや多様な環境での性能、continuation headの訓練の安定性などについては要旨からは不明。

要旨で参照されている関連研究として、chunk-based VLAモデル（例：LingBot-VLA）、LIBEROベンチマーク、RoboTwin 2.0、および強化学習を用いた適応的ホライズン制御の手法が挙げられる。具体的には、VLAモデルの固定ホライズン実行を扱った論文や、強化学習による再計画決定の研究を読むとよい。