日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
進捗推定arXiv:2610.39125

エラーと回復を通じたタスク進捗追跡:ベンチマークと再帰分布モデル

Tracking Task Progress Through Errors and Recovery:A Benchmark and Recurrent Distributional Model

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作タスクの進捗をエラーや回復も含めて評価するデータセットReSTEPを公開し、再帰的視覚記憶と分布予測で進捗を推定するREMORAを提案した論文。

詳しい要約

1. どんなもの?

- 長期的なロボット操作タスクの進捗(進行・停滞・後退・回復)を評価するためのベンチマークと推定モデルの提案 - ReSTEP: 2つのmanipulationタスクにわたる3,156エピソードのデータセット - semantic stage labels と frame-level error annotations を付与 - 成功実行・ミス・回復を含み、進捗モニタの訓練とベンチマークを可能にする - REMORA: オンライン進捗推定器 - recurrent visual memory、distributional prediction、causal peak selection を組み合わせる

2. 先行研究と比べてどこがすごい?

- 実世界のロボットデータで error recovery と frame-level error annotations を備えたものが希少というギャップに対し、ReSTEP をオープンソース化 - 既存の progress estimators は視覚的に類似したタスク段階の区別や、真の後退に反応しつつ時間的一貫性を保つことが困難 - REMORA は state-of-the-art の SARM baseline に対し、progress accuracy と temporal consistency で上回る

3. 技術・手法の肝は?

- REMORA の構成要素 - recurrent visual memory: 実行履歴を保持し視覚的曖昧性の解消を支援 - distributional prediction: 複数の進捗仮説を表現 - causal peak selection: 支持された仮説を時間的に追跡 - これらにより、エラーや回復に反応しつつ一貫した進捗追跡を実現

4. どうやって有効だと検証した?

- ReSTEP の2つのタスク上で実験 - REMORA が SARM baseline と比較して progress accuracy と temporal consistency で優れることを示す - 具体的な評価指標の詳細や被験者実験の有無は要旨からは不明

5. 議論はある?

- 既存手法が視覚的に類似した段階の区別や時間的一貫性の維持に苦労する点を課題として指摘 - ReSTEP により成功・ミス・回復を含む進捗モニタの訓練とベンチマークが可能 - 限界や今後の課題についての詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- SARM(要旨で比較されている state-of-the-art baseline) - ReSTEP データセットを用いた progress monitoring 関連研究 - recurrent visual memory や distributional prediction を用いた online progress estimation の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Wang, Xinze Niu, Zihao Zhu, Keru Zhou, Yicheng Xu, Shihao Jin, Wenhao Wang, Bowen Jiang, Chang Zhou, Li Liu, Maoqing Yao

分類: cs.RO

原文アブストラクト

Operational strategies for long-horizon robotic tasks require reliable evaluation to determine whether execution is progressing, stalling, regressing, or recovering from errors. Yet real- world robot datasets that capture error recovery and provide frame-level error annotations remain scarce. To address this gap, we introduce and open-source ReSTEP, a dataset of 3,156 episodes across two manipulation tasks with semantic stage labels and frame-level er- ror annotations. ReSTEP supports training and benchmarking progress monitors through successful execution, mistakes, and recovery. Existing progress estimators can struggle to distinguish visually similar task stages and maintain temporally consistent predictions while responding to genuine setbacks. We therefore propose REMORA, an online progress esti- mator that combines recurrent visual memory, distributional prediction, and causal peak selection. Memory retains execution history to help resolve visual ambiguity, while distribu- tional prediction represents alternative progress hypotheses and causal peak selection tracks a supported hypothesis over time. Together, these components enable consistent progress tracking that remains responsive to errors and recovery. Experiments on both ReSTEP tasks demonstrate that REMORA outperforms the state-of-the-art SARM baseline in progress ac- curacy and temporal consistency.

PR本紙発行元 EmplifAI