日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬モデリングarXiv:2611.24926

Grana: 長期的ロボットマニピュレーションのための構成可能な報酬モデリング

Grana: Compositional Reward Modeling for Long-Horizon Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

オープン語彙のサブタスク記述を用いて未完了サブタスクを特定し、その連続的な進捗を推定する視覚言語報酬モデルを提案。短期的タスクの事前学習から長期的タスクへ転移可能な進捗推定を実現した。

詳しい要約

1. どんなもの?

- 視覚言語ベースのロボット向け reward model「Grana」の提案 - 未完了の subtask を open-vocabulary な記述で特定し、その連続的な progress を推定する - 短horizon の pretraining を長horizon タスクへ転移することを狙う - 長horizon では選択 subtask の progress と先行完了 subtask の credit を合成し全体 progress を推定

2. 先行研究と比べてどこがすごい?

- 汎用 reward model は広い task transfer を示すが、short-task pretraining から long-horizon への転移は未解明だった点を扱う - 従来の long-horizon progress model は task 固有の subtask classifier や固定 action vocabulary に依存し、学習済み progress 知識の再利用が限定的だった - Grana は open-vocabulary subtask 記述と subtask progress の合成で、新規タスクへの適応時の再利用を可能にする

3. 技術・手法の肝は?

- 言語条件付きモデルで short-horizon タスクおよび long-horizon タスクの個別 subtask の progress を推定 - long-horizon では未完了 subtask を特定し、その予測 progress に先行完了 subtask の credit を加えて全体 progress を算出 - 不完全な実行を考慮した progress 監督のため、sparse な subtask 境界と action-quality 注釈を dense progress target に変換する annotation protocol を導入 - elapsed-time proxy は subtask 相対時間の変動や失敗による局所 progress の逆行を誤表現しうるため採用しない

4. どうやって有効だと検証した?

- 主に short-horizon な 200 の多様な manipulation タスクで本 supervision を用いて pretraining - 未見タスクでの zero-shot reward prediction と、multi-minute の long-horizon タスクへの適応後の progress prediction 改善を確認 - 実験で (i) 5 つの long-horizon タスクへの適応を含む汎化可能な reward prediction、(ii) pretraining と subtask progress 推定の合成による利得、(iii) 下流 policy 性能の改善を示す

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、注釈コストの詳細な議論は記述されていない) - 示唆として、elapsed-time proxy の限界と不完全実行下の progress 監督の難しさが動機として述べられる

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は記載なし - 関連手法として general-purpose reward model、long-horizon progress model、subtask classifier ベース手法、elapsed-time proxy を用いる手法 - 同分野の定番として vision-language model を用いた reward modeling、open-vocabulary な manipulation の subtask 認識、long-horizon manipulation の progress estimation に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zi-ang Cao, Kaiyuan Zheng, Yinzhen Xu, Haonan Duan, Jiasheng Gu, Fengyuan Hu, Nan Zhu, Kun Lei, Kevin Lin, Ruijie Zheng, Shenyuan Gao, Fangqi Zhu, Zhe Zhang, Radha Poovendran, Linxi Fan, Guanzhi Wang, Yuke Zhu

分類: cs.RO

原文アブストラクト

Robot reward modeling faces two challenges: generalizing across tasks and accurately tracking progress in long-horizon manipulation. General-purpose reward models demonstrate broad task transfer, but transfer from short-task pretraining to long-horizon tasks remains underexplored. Long-horizon progress models often rely on task-specific subtask classifiers or fixed action vocabularies, limiting the reuse of learned progress knowledge when adapting to new tasks. To address these challenges, we introduce Grana, a vision-language robot reward model that learns to identify unfinished subtasks and estimate their continuous progress using open-vocabulary subtask descriptions. We train a language-conditioned model to estimate progress in short-horizon tasks and individual subtasks of long-horizon tasks. For long-horizon tasks, we combine the selected subtask's predicted progress with credit for preceding completed subtasks to estimate whole-task progress. General progress prediction requires training the model across diverse tasks with progress supervision that accounts for imperfect execution. Elapsed-time proxies can misrepresent progress when relative subtask durations vary, or failures reverse local progress. We therefore introduce an annotation protocol that converts sparse subtask boundaries and action-quality annotations into dense progress targets, without requiring annotators to assign numerical progress scores. Pretraining with this supervision on 200 diverse, mostly short-horizon manipulation tasks enables zero-shot reward prediction on unseen tasks and improves progress prediction after adaptation to multi-minute, long-horizon tasks. Experiments demonstrate (i) generalizable reward prediction, including adaptation to five long-horizon tasks, (ii) benefits from pretraining and composing subtask progress estimates, and (iii) improved downstream policy performance.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI