VLA2026/8/5arXiv:2608.04527v2

時間で検索し、周波数で修正する

Retrieve in Time, Correct in Frequency

凍結された視覚言語行動ポリシーの性能を、訓練なしのテスト時修正フレームワークで向上させる。成功軌道からの低周波残差を転送し、長期的な操作成功率を改善する。

詳しい要約

1. どんなもの？

RTCF (Retrieve in Time, Correct in Frequency) は、凍結された vision-language-action (VLA) ポリシーの性能を、テスト時に訓練なしで改善するフレームワーク。時間的に拡張された action chunk を生成する VLA ポリシーにおいて、長期的な操作タスクで累積する実行エラーと視覚的曖昧性に対処する。成功したロールアウトからの修正的証拠を利用し、どの経験を検索するかと、そのアクションのどの部分を転送するかを分離する。

2. 先行研究と比べてどこがすごい？

従来のフレーム検索は、進行度に合わないアクションを返す可能性があり、直接的なリプレイや時間領域での融合は、ポリシー提案の反応的構造を上書きしうる。RTCF は、検索と転送を分離し、周波数領域で低周波残差のみを転送することで、高周波成分とグリッパー決定を凍結ポリシーから継承し、反応性を保つ点が新しい。

3. 技術・手法の肝は？

手法の肝は、Progressive Memory Alignment (PMA) による因果的アライメントと、係数ごとにクリップされた低周波残差の転送。PMA は、増加する視覚的実行履歴を完全な成功軌道と単調なフロンティアで因果的にアライメントし、ステージラベルなしで関連メモリと現在のアライメント位置を特定する。転送は、アライメントされた action chunk から、運動チャネルの低周波残差を係数ごとにクリップして転送し、高周波成分とグリッパー決定は凍結ポリシーから継承する。

4. どうやって有効だと検証した？

4つの LIBERO スイートと、条件ごとに2,000エピソードで検証。RTCF は、全体の成功率を86.4%から88.4%に向上させ、LIBERO-Long では61.6%から68.6%に改善。パラメータ更新、繰り返しの VLA 推論、追加の GPU リソースを必要とせず、単一のポリシー呼び出し後にクライアント CPU で補正が可能で、アクション chunk あたりの中央値レイテンシは合計10.99 ms。

5. 議論はある？

要旨からは、RTCF の限界や潜在的な欠点についての議論は不明。ただし、低周波残差のみを転送するため、高周波の微細な操作が必要なタスクでは効果が限定的である可能性が示唆されるが、要旨には明記されていない。また、PMA のフロンティア更新が失敗した場合の影響や、メモリの多様性に関する議論も要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、VLA ポリシー、action chunk 生成、テスト時適応、周波数領域でのアクション補正に関する研究が関連する。具体的には、Vision-Language-Action モデル（例：RT-2、Octo）や、テスト時適応の手法（例：TTA、Replay-based methods）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuze Fan, Yue Cao, Pengjie Gao, Haojia Gao, Guangqiu Guo, Ziyue Zhang, Junbo Tan, Bokui Chen, Zhuo Zou, Xueqian Wang

分類: cs.RO

原文アブストラクト

Frozen vision-language-action (VLA) policies generate temporally extended action chunks, but long-horizon manipulation remains vulnerable to accumulated execution error and visual aliasing across task stages. Successful rollouts provide useful corrective evidence, yet current frame retrieval can return progress-misaligned actions,while direct replay or time-domain fusion can overwrite the reactive structure of the policy proposal. We introduce Retrieve in Time, Correct in Frequency (RTCF), a training-free test-time correction framework that improves frozen VLA performance with low model-side overhead.RTCF separates which experience to retrieve from which part of its action to transfer. Progressive Memory Alignment (PMA) causally aligns the growing visual execution history with complete successful trajectories through incrementally updated monotonic frontiers, jointly identifying a relevant memory and the current aligned memory position without stage labels. From the aligned action chunk,RTCF transfers a coefficient-wise-clipped low-frequency residual on motion channels. Higher-frequency components and gripper decisions remain inherited from the frozen policy. Across four LIBERO suites and 2,000 episodes per condition, RTCF raises aggregate success from 86.4% to 88.4% and improves LIBERO-Long from 61.6% to 68.6%.These gains require no parameter updates, repeated VLA inference, or additional GPU resources: correction can be performed on the client CPU after a single policy invocation, and the median latencies sum to only 10.99 ms per action chunk

arXivで原文を読む →arXiv概要ページ

← 論文一覧