日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.21621

SPEAR: 適応的報酬による選択的好み獲得でVLM誘導ロボットマニピュレーション

SPEAR: Selective Preference Elicitation with Adaptive Rewards for VLM-Guided Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMを効率的な好みオラクルとして活用し、識別可能性を考慮したクエリ選択と適応的報酬遷移により、接触の多いマニピュレーションタスクの実機オンライン学習を実現した。

詳しい要約

1. どんなもの？

- VLM を用いたロボットマニピュレーションのための選好学習フレームワーク SPEAR を提案。 - VLM を効率的な preference oracle に変換する。 - 2 つの機構: distinguishability-aware query selection と adaptive reward transition。 - 接触の多いタスクで成功率 88.9%、ベースラインを 23.3 ポイント上回る。 - Mobile ALOHA の 3 タスクを実機で完全オンライン学習。

2. 先行研究と比べてどこがすごい？

- 従来の VLM による自動選好ラベリングは、各クエリの推論コストが大きく、視覚的に難しい比較で VLM が abstain しがちで実用的でなかった。 - SPEAR は abstention 率を下げ、wall-clock 学習時間を大幅に短縮。 - 手動の reward engineering なしでスケーラブルなロボット学習を可能にする点が先行研究と異なる。

3. 技術・手法の肝は？

- distinguishability-aware query selection: 情報量が多く判別可能な比較のみを選び、VLM の abstention を減らす。 - adaptive reward transition: VLM が合成した guidance で exploration をブートストラップし、その後 preference-based refinement に移行する。 - これら 2 つの機構を組み合わせて VLM を効率的な preference oracle として機能させる。

4. どうやって有効だと検証した？

- manipulation benchmarks で評価し、平均成功率 88.9% を達成。 - ベースラインを 23.3 ポイント上回った。 - 接触の多いタスクで abstention と wall-clock training time を有意に削減。 - Mobile ALOHA の 3 つの manipulation タスクを実機で完全オンライン学習し、end-to-end の実世界適用性を実証。

5. 議論はある？

- 要旨からは不明。 - ただし、VLM の推論コストや abstention への対処、実機オンライン学習の実現可能性が主な議論点と考えられる。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として VLM を用いた preference labeling、Mobile ALOHA、preference-based reinforcement learning などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zewen Wu, Ruizhe Liu, Pei Zhou, Feng Chen, Yanchao Yang

分類: cs.RO

原文アブストラクト

Recent Vision-Language Models (VLMs) enable automated preference labeling for robotic manipulation, yet their deployment remains impractical since each query incurs substantial inference cost, while VLMs frequently abstain on visually challenging comparisons. We propose SPEAR, a framework that transforms VLMs into efficient preference oracles via two synergistic mechanisms. First, we design distinguishability-aware query selection to reduce abstention rates by targeting only informative and distinguishable comparisons. Second, we deploy an adaptive reward transition that bootstraps exploration with VLM-synthesized guidance before preference-based refinement. Experiments on the manipulation benchmarks demonstrate that SPEAR achieves 88.9% average success, outperforming baselines by 23.3 percentage points, while significantly reducing abstention and wall-clock training time on contact-rich tasks. SPEAR learns three Mobile ALOHA manipulation tasks fully online on real hardware, demonstrating end-to-end real-world applicability. By addressing query efficiency and exploration challenges, SPEAR establishes VLMs as practical preference oracles for scalable robot learning without manual reward engineering.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI