日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.21767

並列シミュレーションにおけるロボットマニピュレーションのための視覚言語報酬学習のスケーリング

Scaling Vision-Language Reward Learning for Robot Manipulation in Parallel Simulation

シェア:XThreadsFacebookLINEはてブBluesky

GPU並列ロールアウトと単一リクエスト選好ラベリングを組み合わせたRAPIDを提案し、Franka Pandaの5タスクで訓練時間を8倍短縮、API呼び出しを95.5%削減しつつ成功率を98.7%に向上させた。

詳しい要約

1. どんなもの？

- VLMを用いたpreference-based reward learningの高速化システムRAPIDを提案。 - GPU-parallel rollout、data-aware policy updates、single-request preference labeling、automatic reward stabilization、representative image samplingを統合。 - IsaacLab上の5つのFranka Panda manipulationタスクで評価。

2. 先行研究と比べてどこがすごい？

- 従来はsequential API requestsとsingle-environment data collectionで訓練が遅く高コスト。 - 並列rolloutと適応的更新により、同一two-stage prompting下で平均実行時間を9.18時間から3.13時間へ短縮。 - 全RAPIDコンポーネント有効時は1.15時間、API呼び出しを19,840から896に削減。 - 最終成功率を86.3%から98.7%へ向上。8.0倍のend-to-end speedupとAPI使用量95.5%削減を達成。

3. 技術・手法の肝は？

- GPU-parallel rolloutとdata-aware policy updatesを組み合わせる。 - single-request preference labelingによりAPI呼び出しを削減。 - automatic reward stabilizationとrepresentative image samplingを導入。 - これらをRAPID (Reward learning with Adaptive Parallel Image Diversity)として統合。

4. どうやって有効だと検証した？

- IsaacLab上の5つのFranka Panda manipulationタスクで評価。 - 並列rolloutと適応的更新の効果をtwo-stage prompting下で比較。 - 全コンポーネント有効時の訓練時間、API呼び出し数、最終成功率を測定。 - Gemma 3 12BとGPT-4.1 miniによるoffline evaluationでsingle-request promptingのラベリング遅延とコスト削減を確認。

5. 議論はある？

- 要旨からは不明。 - ただし、single-request promptingが両モデルでラベリング遅延とコストを削減することが示されている。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてpreference-based reward learning、VLM、IsaacLab、Franka Panda manipulationが挙げられる。 - 同分野の定番としてRLHF、vision-language models、robot manipulation benchmarksが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lobna Joualy, Eric Demeester, Nikolaos Tsiogkas

分類: cs.RO

原文アブストラクト

Vision-language models (VLMs) can replace human annotators in preference-based reward learning, but sequential API requests and single-environment data collection make training slow and costly. We present RAPID (Reward learning with Adaptive Parallel Image Diversity), a system that couples GPU-parallel rollout with data-aware policy updates, single-request preference labeling, automatic reward stabilization, and representative image sampling. We evaluate these components on five Franka Panda manipulation tasks in IsaacLab. Parallel rollout and adaptive updates provide the first substantial reduction in training time: under matched two-stage prompting, mean runtime falls from 9.18 to 3.13 hours. With all RAPID components enabled, training completes in 1.15 hours using 896 rather than 19,840 API calls per run, and aggregate final success rises from 86.3\% to 98.7\%. This represents an 8.0$\times$ end-to-end speedup and a 95.5\% reduction in API usage. An offline evaluation with Gemma~3 12B and GPT-4.1 mini demonstrates that single-request prompting reduces labeling latency and cost across both models. Code is available at: https://github.com/rapid-vlm/rapid-vlm-rl.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI