DEXTERA: 単一画像から実機展開可能な巧みなマニピュレーションへ向けたReal-to-Sim-to-Real

- 単一のRGB画像から、dexterous manipulationのためのdeployable policyを自動生成するreal-to-sim-to-realフレームワークDEXTERAを提案。 - 4段階の統合プロセス：(1) 単一画像を静的Gaussian背景とinteractive rigid/articulated assetsに分解し、VLMで物理パラメータを推定、(2) metric scene global alignment、object canonicalization、morphology-balanced robot calibration、(3) simulator task primitive構築、VR teleoperation、object-centric trajectory synthesis、(4) imitation learningとreinforcement learningをサポートする共有multimodal policy interface。 - 13のtask-embodimentペア、2つのdexterous robotプラット…

- 手動でのdigital twin構築が不要で、単一画像から自動的にreal-to-sim-to-realを実現。 - 生成ベースラインと比較して、優れたvisual fidelityと3D geometric reconstructionを達成。 - シミュレーションのみで訓練したpolicyがzero-shot real-robot deploymentを可能にし、simulation-real co-trainingで平均物理policy成功率を29.2%から61.9%に大幅改善。 - 従来のsim-to-realにおける視覚・幾何・動力学ギャップを軽減。

- 単一画像からのscene factorization：静的Gaussian背景とinteractive assets（rigid/articulated）に分離し、VLMで物理パラメータを推定。 - metric scene global alignment、object canonicalization、morphology-balanced robot calibrationによる幾何・動力学の整合。 - scalable simulator task primitive構築、VR teleoperation、object-centric trajectory synthesis。 - 共有multimodal policy interfaceでimitation learningとreinforcement learningを統合。

- 13のtask-embodimentペア、2つのdexterous robotプラットフォーム、6つのpolicyアーキテクチャで評価。 - 生成ベースラインと比較してvisual fidelityと3D geometric reconstructionが優れることを確認。 - cross-domain trajectory replaysで物理的相互作用の一貫性を検証。 - simulation-only trained policyによるzero-shot real-robot deploymentを実証。 - simulation-real co-trainingで平均物理policy成功率が29.2%から61.9%に向上。

- 要旨からは、限界や議論の詳細は不明。 - 残存するvisual, geometric, dynamics gapsの完全な解消については言及されていない。 - 実世界展開の成功率61.9%は改善を示すが、完全な成功ではない。

- 要旨で参照/比較されている研究：generative baselines（具体的名称は要旨からは不明）。 - 関連手法：real-to-sim-to-real、sim-to-real transfer、dexterous manipulation、Gaussian splatting、VLM、imitation learning、reinforcement learning。 - 同分野の定番：domain randomization、digital twin、teleoperation、multimodal policy learning。