日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.35303

PIVOT: マルチターンVLMエージェントのためのピボット認識型オンポリシー自己蒸留

PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

マルチターンVLMエージェントのRL訓練において、失敗の起点となる「ピボット」ステップを内部化して特定・状態復元するフレームワークを提案し、環境ロールバックなしで性能を向上させた。

詳しい要約

1. どんなもの？

マルチターンVLMエージェントのRL訓練フレームワークPIVOTを提案。 - RLVRとGRPOが抱える一様失敗時のゼロ勾配と粗いエピソード単位クレジット割当を解決。 - OPSD/OPDの利得がpivot step(残りステップ予算で回復不能な最初の行動)での物理状態ロールバックに由来することを反事実ロールバックプローブで解明。 - 物理ロールバックを排除し、pivot特定と状態復元をトークン単位のパラメータ更新に内部化。 - テスト時はTeacherとAnalyzerを除去し追加スキルヒント不要。

2. 先行研究と比べてどこがすごい？

GRPOやOPD/OPSDとの比較で優位。 - GRPOのゼロ勾配サイレンスと粗いクレジット割当を回避。 - OPD/OPSDは物理状態ロールバックに依存し計算コスト大・実環境で不可能だが、PIVOTはロールバック不要。 - テスト時にTeacher/Analyzer不要で追加スキルヒントも排除。 - Qwen2.5-VL-3BでSFT+GRPO比+8%、前SOTA比+5%の0.90精度、Qwen3-VL-2Bで+12%の0.92精度。

3. 技術・手法の肝は？

単一アーキテクチャで3役を統合。 - Analyzer: 視覚軌跡コラージュと行動ログから非侵襲的にpivot stepを特定し失敗モードを診断。 - Teacher: この特権的診断コンテキスト下で失敗トークンを再スコアリング(切り離し)。 - Student: GRPO目的とconfidence-gated OPD目的を統合最適化。 - pivot特定と状態復元をトークンレベルのパラメータ更新に内部化し、RL訓練中の環境ロールバックを排除。

4. どうやって有効だと検証した？

5つのマルチターンVLMエージェントベンチマークで検証。 - 認知グリッドパズル、3D身体性制御・ナビゲーション、生成的推論を含む。 - 制御された反事実ロールバックプローブでOPSD/OPDのメカニズムを分析。 - Qwen2.5-VL-3Bで全体精度0.90(SFT+GRPO比+8%、前SOTA比+5%)。 - Qwen3-VL-2Bで0.92(SFT+GRPO比+12%)。

5. 議論はある？

要旨からは不明。 - OPSD/OPDのメカニズム理解が不十分である点を指摘。 - 物理状態ロールバックの計算非現実性と実環境での不可能性を議論。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究。 - Group-Relative Policy Optimization (GRPO) - On-Policy Distillation (OPD) - On-Policy Self-Distillation (OPSD) - SFT+GRPOベースライン - Qwen2.5-VL-3B, Qwen3-VL-2B

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiazhou Zhou, Hu Zhou, Yucheng Chen, Jinyuan Qu, Ying-Cong Chen, Lei Zhang

分類: cs.CV

原文アブストラクト

Reinforcement learning with verifiable rewards (RLVR) via Group-Relative Policy Optimization (GRPO) is widely used for multi-turn VLM agent training, yet it suffers from zero-gradient silence on uniform failures and coarse episode-level credit assignment. While On-Policy Distillation (OPD) and On-Policy Self-Distillation (OPSD) mitigate sparse rewards using hindsight information, their underlying mechanisms remain poorly understood. Through controlled counterfactual rollback probes across five multi-turn VLM agent benchmarks, we reveal that performance gains in OPSD/OPD are largely driven by physical state rollback at the pivot step, defined as the first unrecoverable action without remaining step budget. However, physical state rollbacks are computationally prohibitive and infeasible in real-world environments. To bridge this gap, we present Pivot-Aware Internalized Visual On-Policy Training (PIVOT), an RL framework that internalizes pivot localization and state restoration directly into token-level parameter updates, eliminating environment rollbacks during RL training and additional skill hints at test time. PIVOT unifies three functional roles within a single architecture: a failure Analyzer non-invasively localizes the pivot step and diagnoses failure modes from visual trajectory collages and action logs; a detached Teacher re-scores failed tokens under this privileged diagnostic context; and a Student optimizes joint GRPO and confidence-gated OPD objectives. At test time, both Teacher and Analyzer branches are stripped. Evaluated on five multi-turn VLM agent tasks across cognitive grid puzzles, 3D embodied control and navigation, and generative reasoning, PIVOT achieves 0.90 overall accuracy on Qwen2.5-VL-3B (+8% over SFT+GRPO baseline and +5% over previous SOTA) and scales to 0.92 on Qwen3-VL-2B (+12% over SFT+GRPO baseline).

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI