日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2611.06442

TwinBridge：デジタルツインによる方策と報酬の転移で実世界強化学習を実現する実験室ロボティクス

TwinBridge: Digital Twin-Driven Policy and Reward Transfer for Real-World Reinforcement Learning in Laboratory Robotics

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウシアンスプラッティングと物理シミュレーションでデジタルツインを構築し、シミュレータ由来の方策初期化と視覚報酬モデルを実世界のオンライン強化学習に転移することで、実験室の5タスクを高成功率かつ短時間で学習できるようにした。

詳しい要約

1. どんなもの？

- 実験室ロボティクス向けの実世界オンライン強化学習フレームワーク「TwinBridge」 - digital twinを構築し、policy初期化と密なvisual rewardを実世界学習に供給 - 3D Gaussian splattingとphysics simulationを組み合わせてdigital twinを構築 - 5つの実世界実験室タスクで最終平均自律成功率98%、タスクあたり最大25分の実世界interactionを達成

2. 先行研究と比べてどこがすごい？

- 実世界demonstrationの高コストと密なprocess rewardの入手困難という課題に対処 - digital twinからpolicy pretraining用のrewardとvisual reward modelの監督を生成 - 密なrewardがsparse rewardよりinteraction効率を改善することを実験で示す - simulation-based policy initializationが学習をさらに加速することを示す - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は？

- digital twin構築: 3D Gaussian splatting + physics simulation - simulator状態が物理的前提と順序制約の下でtask eventとgeometric progressを提供 - これらからsimulated demonstrationと強化学習によるpolicy pretraining用rewardを生成 - この監督をvisual reward modelへdistill - 実世界interaction時は予測とexecution historyを組み合わせて密なrewardを計算 - human-in-the-loopによるpolicy refinementを実施

4. どうやって有効だと検証した？

- 5つの実世界実験室タスクで評価 - 最終平均自律成功率98%、タスクあたり最大25分の実世界interaction - 密なrewardとsparse rewardのinteraction効率比較を実施 - simulation-based policy initializationの学習加速効果を実験で確認

5. 議論はある？

- 密なrewardがsparse rewardよりinteraction効率を改善 - simulation-based policy initializationが学習をさらに加速 - human-in-the-loop refinementの詳細な負荷や限界は要旨からは不明 - digital twin構築コストやsim-to-realギャップの議論は要旨からは不明

6. 次に読むべき論文は？

- 3D Gaussian splattingを用いたdigital twin/robot simulation関連研究 - visual reward modelやreward distillation関連研究 - sim-to-real transferやpolicy initialization関連研究 - human-in-the-loop強化学習関連研究 - 要旨で参照/比較されている個別研究は明示されていない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shu'ang Sun, Yibo Qiu, Haoliang Ye, Zan Huang, Ao Tian, Kan Ding, Ronald Xu, Mingzhai Sun

分類: cs.RO

原文アブストラクト

Online reinforcement learning offers an effective approach to precise laboratory manipulation, yet costly real-world demonstrations and limited access to dense process rewards hinder its practical application. We present TwinBridge, a digital twin-driven framework that supplies policy initialization and dense visual rewards for real-world online learning. We construct digital twins by combining 3D Gaussian splatting with physics simulation. Here, simulator states provide task events and geometric progress under physical prerequisites and ordering constraints, yielding rewards for policy pretraining with simulated demonstrations and reinforcement learning. We distill this supervision into a visual reward model. During real-world interaction, its predictions are combined with execution history to compute dense rewards for human-in-the-loop policy refinement. Across five real-world laboratory tasks, TwinBridge achieves a final mean autonomous success rate of 98% with at most 25 minutes of real-world interaction per task. Experiments show that dense rewards improve interaction efficiency over sparse rewards, and simulation-based policy initialization further accelerates learning.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI