日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.29264

配備中に学習するヒューマンインザループ型オンライン事後学習システム

Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

展開中に人間の介入とポリシー生成ロールアウトからオンラインでポリシーを更新する、批評家や報酬モデル不要の教師あり学習フレームワークを提案し、実世界の両腕マニピュレーション4タスクで有効性を示した。

詳しい要約

1. どんなもの？

- 大規模pretrained robot foundation modelを対象タスクへ適応させるためのhuman-in-the-loop online post-training system「TIDE (Training In DEployment)」 - deployment中に収集されるhuman interventionsとpolicy-generated rolloutsから、policyをオンラインで更新する - learned critic・reward model・action scorerを必要としない - 4つのreal-world bimanual manipulationタスクで評価

2. 先行研究と比べてどこがすごい？

- 従来のoffline post-trainingはdeployment経験を即座に吸収できず適応が遅い - 既存のhuman-in-the-loopデータ拡張やonline reinforcement learningは、value functionやauxiliary actor-critic modelに依存し訓練の複雑性と不安定性が増す - TIDEはcritic・reward model・action scorerなしでオンライン更新を実現 - warm-start policyやmatched additional offline demonstrationsを上回る性能 - fixed-policy collection baselineと同等の性能を、deployment中に更新済みcheckpointを提供しつつ達成

3. 技術・手法の肝は？

- provenance-conditioned supervised learning frameworkを導入 - deployment中に収集したhuman interventionsとpolicy-generated rolloutsを情報源としてpolicyをオンライン更新 - learned critic・reward model・action scorerを不要とする構成 - 学習とcheckpoint handlingをasynchronouslyに実行 - 各タスクのonline post-training sessionはdeployment rollouts開始から最終checkpoint入手まで1時間未満

4. どうやって有効だと検証した？

- 4つのreal-world bimanual manipulationタスクで検証 - 評価指標はmilestone-normalized task progressとbinary full-task completion - warm-start policyおよびmatched additional offline demonstrationsに対して改善 - fixed-policy collection baselineとは同等の性能 - 更新済みcheckpointをdeployment中に利用可能にしつつ、1時間未満でsession完了

5. 議論はある？

- offline post-trainingの適応の遅さとonline RLの複雑性・不安定性という課題への対処を主張 - critic・reward model・action scorerなしでオンライン更新可能な点を利点として提示 - 具体的な限界や失敗ケース、タスク間のばらつきについては要旨からは不明 - 詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 比較対象として言及されるoffline teleoperated demonstrationsによるpost-training - human-in-the-loop data augmentationを用いる既存手法 - online reinforcement learning（value functionやactor-critic modelを用いる手法） - robot foundation modelのpretraining - 同分野の定番としてimitation learning / behavior cloning、DAgger系のinteractive imitation learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chun Gu, Xiaofei Wei, Yiming Chen, Bozhou Zhang, Juntong Zhang, Xiatian Zhu, Li Zhang

分類: cs.RO

原文アブストラクト

Large pretrained robot foundation models provide strong priors for manipulation, yet adapting them to target tasks with offline teleoperated demonstrations often fails to cover the contact-rich, recovery, and precision-critical states encountered during deployment. Existing methods mitigate this issue by augmenting offline demonstrations with human-in-the-loop data or online reinforcement learning. Despite this, offline post-training adapts slowly because it cannot immediately absorb deployment experience, while online RL typically relies on value functions or auxiliary actor-critic models, increasing both training complexity and instability. We present TIDE (Training In DEployment), a human-in-the-loop online post-training system. TIDE introduces a provenance-conditioned supervised learning framework that updates the policy online from human interventions and policy-generated rollouts collected during deployment, without a learned critic, reward model, or action scorer. Across four real-world bimanual manipulation tasks, TIDE improves milestone-normalized task progress and binary full-task completion over the warm-start policy and matched additional offline demonstrations, and performs comparably to the fixed-policy collection baseline while making updated checkpoints available during deployment. Each task-specific online post-training session, from the start of deployment rollouts until the final checkpoint is available, completes in less than one hour while learning and checkpoint handling run asynchronously.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI