WA-SpecDec: 世界認識型投機的デコーディングによる視覚言語行動モデルの高速化

WA-SpecDecは、Vision-Language-Action (VLA) ポリシーにおける推論遅延を削減するための、世界認識型投機的復号（speculative decoding）フレームワークである。VLAポリシーは自己回帰的にロボット制御を生成するため、閉ループ遅延が大きい。投機的復号はドラフトアクショントークンのブロックを並列検証することでこのコストを削減するが、既存の緩和手法はシーン非依存的であり、固定されたトークン距離許容度を用いる。WA-SpecDecは、VLAのprefill段階でワールドモデル由来の物理シーン認識を注入し、ドラフト提案とターゲット検証のための共有された世界認識prefill状態を生成する。これにより、緩和された受理規則を変更せずに、より高いタスク成功率とより長い受理プレフィックスを実現する。

先行研究では、投機的復号の緩和がトークンレベルで行われ、アクショントークン空間の小さな差異は連続制御に似た影響を与えるとされていたが、この緩和はシーン非依存的であり、自由空間では無害な逸脱が接触近傍では衝突や把持失敗を引き起こす可能性がある。WA-SpecDecは、ワールドモデルから得られる物理シーン認識をprefill段階で注入することで、シーンに応じた安全性を考慮する点が新しい。また、既存の緩和受理規則を変更せずに、より高いタスク成功率と長い受理プレフィックスを達成する点で優れている。

WA-SpecDecの核心は、VLAのprefill段階でワールドモデルから導出された物理シーン認識を注入し、ドラフト提案とターゲット検証のための共有された世界認識prefill状態を生成することである。具体的には、ワールドモデルがシーンの物理的状態（例：接触の有無）を推定し、その情報をprefill状態に組み込む。これにより、緩和された受理規則（トークン距離許容度）を変更せずに、シーンに応じた安全性を考慮した検証が可能になる。手法は、既存の緩和受理スキームと組み合わせて使用される。

WA-SpecDecは、3つの最先端の緩和受理スキームにわたって評価された。実験では、緩和を緩めた場合に高いタスク成功率を維持し、より長い受理プレフィックスを達成した。また、同等の成功率の動作点で、VLA投機的復号単独と比較して1.5倍のマッチドサクセス高速化を達成し、対応する投機的ベースラインと比較して平均で近接触失敗（NCF）を18.6%削減した。

要旨からは、WA-SpecDecの限界や潜在的な欠点についての議論は不明である。ただし、ワールドモデルの精度が性能に影響する可能性や、シーン認識の計算コストが追加されることが考えられるが、要旨には明記されていない。また、緩和受理規則を変更しないため、既存の手法との互換性が高いと推測されるが、詳細は不明。

要旨で参照されている関連研究として、VLAポリシー、投機的復号、および緩和受理スキームに関する論文が挙げられる。具体的には、VLAモデル（例：RT-2、OpenVLA）や投機的復号の一般的な手法（例：Medusa、EAGLE）が関連する。また、ワールドモデルを用いたロボット制御の研究も関連する。