日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
進捗推定/ロボットマニピュレーションarXiv:2610.32776

行動認識型定量化による長期的進捗予測モデリング

Predictive Long-Horizon Progress Modeling with Action-Aware Quantification

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクをVLMで物体レベルのサブタスクに分解し、重み付き行動クレジットで進捗を定量化する手法を提案。進捗予測モデルNimCriticを構築し、大規模ベンチマークで既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための**denseなタスク進捗フィードバック**を定量化する枠組み - 長時間horizonのtrajectoryをobject-level subtaskに分解し、重み付きaction creditを付与 - VLMによる自動ラベリングと人手calibrationで大規模データを構築 - 構築物 - 800+時間のtraining video dataset - **LOOM**: 19,618 human-calibrated evaluation frameを含むlong-horizon progress benchmark - 提案モデル - **NimCritic**: Joint Video-Progress Learningで学習するpredictive progress critic - 応用先: data curation, policy evaluation, reinforcement learning

2. 先行研究と比べてどこがすごい?

- 既存の進捗アノテーションは**sparseなkeyframe marking**に依存 - 主観的な手動判断由来で、scalabilityとcross-task consistencyに限界 - 特にlong-horizon manipulationで問題が顕著 - 提案の優位性 - **action-aware quantification**でobject-level subtask分解とweighted action creditを統合し、fine-grained execution dynamicsを捕捉 - VLM auto-labelingとhuman calibrationの併用で大規模化と一貫性を両立 - 性能面 - 既存のstate-of-the-art **PRM**に匹敵または上回る - **VPB**で**GVL (GPT-6-Sol)**をterminal success accuracy (TSA)で約65%上回る - **RoboArena**でhuman-selected successful rolloutを約97% o…

3. 技術・手法の肝は?

- **action-aware quantification**: long-horizon trajectoryをVLMでobject-level subtaskに分解し、weighted action creditを割当 - データ構築: VLM auto-labeling + human calibrationで800+時間video datasetとLOOMを構築 - **NimCritic**: **Joint Video-Progress Learning**でdense progress dynamicsをモデル化するpredictive progress critic - 学習上の工夫 - **Historical Progress Perturbation**: sequential driftを緩和 - **contrastive Video-Progress Alignment**: 非対称なexpert stream間を相互にgroundingし、intermediate visual dynamicsとdenoised progress trajec…

4. どうやって有効だと検証した?

- ベンチマーク評価 - **Video Progress Benchmark (VPB)** と **LOOM** でstate-of-the-art PRMに匹敵または上回る - VPBで**GVL (GPT-6-Sol)**に対しterminal success accuracy (TSA)で約65%上回る - 大規模policy評価 - **RoboArena** benchmarkでhuman-selected successful rolloutを約97% overall recallでretrieve - データセット/ベンチマーク自体の妥当性 - LOOMは19,618 human-calibrated evaluation frameを含み、人手calibrationに基づく評価を実施

5. 議論はある?

- 主張: action-aware quantificationがdense progress feedbackのscalableな基盤となる - 課題認識: sparse keyframe由来の主観的アノテーションの限界、long-horizonでのcross-task consistency問題 - 設計上の懸念への対処 - sequential driftをHistorical Progress Perturbationで緩和 - 非対称expert stream間の整合をcontrastive Video-Progress Alignmentで対処 - 要旨からは不明 - VLM auto-labelingの誤り率やhuman calibrationのコスト - 他タスク・実機環境への汎化性の詳細 - 失敗caseや限界に関する議論

6. 次に読むべき論文は?

- **GVL (GPT-6-Sol)**: VPBで比較対象となった手法 - **Process Reward Models (PRMs)**: 比較対象のstate-of-the-art手法群 - **Video Progress Benchmark (VPB)**: 評価に用いた既存ベンチマーク - **RoboArena**: policy評価に用いた大規模ベンチマーク - 関連する定番領域として **Vision-Language Model (VLM)** を用いた自動アノテーションや **reinforcement learning** 向けreward modeling の文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianchi Xu, Yalin Zheng, Yangxin Zhu, Ruonan Ren, Zheng Fu, Yunlong Wang, Yuanxin Zhong

分類: cs.RO

原文アブストラクト

Quantitative and dense task progress feedback is essential for robotic manipulation across data curation, policy evaluation, and reinforcement learning. Existing progress annotations often rely on sparse keyframe markings derived from subjective manual judgments, limiting their scalability and cross-task consistency, particularly in long-horizon manipulation. To overcome these challenges, we propose action-aware quantification, a unified progress specification that decomposes long-horizon trajectories into object-level subtasks via a vision-language model (VLM) and assigns weighted action credits to capture fine-grained execution dynamics. Using VLM auto-labeling and human calibration, we construct an 800+ hour training video dataset and LOOM, a long-horizon progress benchmark containing 19,618 human-calibrated evaluation frames. To model these dense progress dynamics, we introduce NimCritic, a predictive progress critic trained via Joint Video-Progress Learning. We further incorporate Historical Progress Perturbation to mitigate sequential drift, and design a contrastive Video-Progress Alignment objective that bridges asymmetric expert streams by mutually grounding intermediate visual dynamics and denoised progress trajectories. NimCritic matches or outperforms state-of-the-art process reward models (PRMs) on the established Video Progress Benchmark (VPB) and LOOM, surpassing GVL (GPT-6-Sol) on VPB by about 65% in terminal success accuracy (TSA). On the large-scale RoboArena policy evaluation benchmark, it also retrieves human-selected successful rollouts with about 97% overall recall. These results establish action-aware quantification as a scalable foundation for dense progress feedback in robotic manipulation.

PR本紙発行元 EmplifAI