RL/遅延対応2026/8/24arXiv:2608.23831

待ち時間に学習する：推論遅延下での汎用ロボットポリシーのRLファインチューニング

Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency

推論遅延がRLのマルコフ性を壊す問題に対し、非同期推論と状態拡張で遅延を隠蔽しつつRL改善を可能にするフレームワークARLIを提案。シミュレーションと実機で有効性を実証した。

詳しい要約

1. どんなもの？

本論文は、推論遅延（inference latency）を持つ大規模な汎用ロボットポリシー（VLAなど）を、強化学習（RL）で微調整する際の問題を扱う。遅延により環境ダイナミクスが変化し、RLが依存するMarkov性が崩れるため、標準RLが失敗する。そこで、非同期推論（asynchronous inference）をRLと組み合わせるためのフレームワークARLI（Asynchronous RL with Intermediate Information）を提案する。ARLIは、遅延中も反応性を最大化する低遅延RLポリシー設計を提供し、状態拡張（committed actionsとmid-inference observationの追加）により近Markov構造を回復する。

2. 先行研究と比べてどこがすごい？

先行研究では、RLによる汎用ポリシーの改善が試みられてきたが、推論遅延がRLに与える影響は考慮されていなかった。また、非同期推論は遅延を隠蔽するが、RLとの非互換性があった。本手法は、非同期推論とRLを統合し、遅延下でもRL微調整を可能にした点が新しい。さらに、理想的な無遅延設定の標準RLと同等以上の性能を達成できることを示した。

3. 技術・手法の肝は？

技術の肝は、非同期推論アプローチを基盤としつつ、RLに適した低遅延ポリシー設計を導入すること。具体的には、(1) 状態拡張：実行済みアクション（committed actions）と推論途中の観測（mid-inference observation）を状態に追加することで、Markov性をほぼ回復する。(2) これにより、遅延中でもポリシーが反応できる。

4. どうやって有効だと検証した？

シミュレーションと実世界の操作タスクで評価した。標準RLが遅延下で完全に失敗する状況でも、ARLIは効果的な微調整を実現し、理想的な無遅延設定の標準RLと同等以上の性能を達成した。

5. 議論はある？

要旨からは、ARLIの限界や一般化に関する議論は不明。ただし、遅延が大きい場合や、非同期推論の前提が崩れる場合の挙動などは今後の課題と考えられる。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、非同期推論アプローチ、RLによる汎用ポリシー微調整、VLA（Vision-Language-Action models）に関する論文が挙げられる。具体的には、非同期推論の元となった研究や、RL微調整の先行研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Brian Zhu, Momen Khalil, E Harrison, Emanuele Poggi, Philipp Schmitt, Bernd Kast, Philine Meister, Pranav Atreya, Qiyang Li, Finn Ferchau, Cesar Colmenero, Yash Shahapurkar, Gokul Narayanan, Melih Erdogan, Kai Wurm, Georg von Wichert, Oier Mees, Eugen Solowjow, Andrew Wagenmaker, Sergey Levine

分類: cs.RO, cs.LG

原文アブストラクト

While reinforcement learning (RL) allows generalist robot policies to continually improve during deployment, the large model size of modern generalist policies, such as VLAs, poses a fundamental obstacle to effective RL improvement. In particular, their severe inference latency---which can lead to pauses or jerky movements---can alter the effective environment dynamics and, if not correctly accounted for, break the Markov assumption that RL relies on, causing standard RL algorithms to fail completely. In this work, we introduce a latency-aware framework, Asynchronous RL with Intermediate Information (ARLI), that enables RL-based improvement of generalist policies under inference delays. Our framework builds on asynchronous inference approaches, which interleave action generation with execution to hide latency, and addresses its incompatibility with RL by providing a low-latency RL policy design that maximizes reactivity within the inference window through two contributions: state augmentations that restore near-Markovian structure by incorporating committed actions and a mid-inference observation. We evaluate our approach across simulated and real-world manipulation tasks, and find that it enables effective finetuning under inference delays where standard RL fails entirely, even matching or exceeding the performance of standard RL in idealized no-latency settings.

arXivで原文を読む →arXiv概要ページ

← 論文一覧