Splat2Act: 撮影シーンから個別最適化されたVLAマニピュレーションへ

- 手持ちのphone scanと対象物の画像のみから、事前学習済みVLA policyを特定のsceneとobject setにpersonalizeする自動real-to-sim-to-real pipeline。 - 3D Gaussian Splattingでphotorealistic digital twinとcollision geometryを構築し、tabletop/non-tabletop receptacleを自動発見、pickup taskを生成、privileged simulation oracleで成功demonstrationを生成。 - 101のcampus環境(median navigable area 104.87 m²、7 receptacles)に適用し、852 receptaclesと68,000以上のpickup demonstrationsを生成。 - π_{0.5}を2段階でfine-tuneし、最強のpersonalized policyはtarget sceneで62.5%のaggregate pickup success。 - 実…

- 従来のreal-to-sim研究は個々のtabletopの再構築に留まるが、Splat2Actはbuilding-scaleのindoor環境を対象とする。 - 人間の関与はsceneとobjectのcaptureのみで、receptacle発見・task構築・demonstration生成を自動化。 - 各ユーザー環境で実demonstrationを収集するのは prohibitive に高コストである問題に対し、simulation-oracle dataのみでpersonalize可能。 - 強いgeneralistであるπ_{0.5}でも適応なしではcaptured deployment scenesで0% pickup successだったのに対し、本手法は大幅な成功を達成。

- 手持ちphone scanから3D Gaussian Splattingでphotorealistic digital twinを構築し、collision geometryを付与。 - tabletopおよびnon-tabletop receptacleを自動発見し、feasible pickup taskを構築。 - privileged simulation oracleにより成功demonstrationを生成。 - π_{0.5}を2段階でfine-tune: Stage 1は数百のpublic object assets(展開sceneのみ、または全101 scene)に適応、Stage 2はdeployment sceneのreceptacle上でユーザー自身のobjectにpersonalize。

- 101のscanned campus環境(median navigable area 104.87 m²、7 receptacles)に適用し、852 receptaclesと68,000以上のpickup demonstrationsを生成。 - 最強のpersonalized policyはtarget sceneで62.5%のaggregate pickup successを達成。 - 実機Stretch 3にdeployし、12-task subsetで63.9%成功、simulationでの66.7%と近いことを確認。

- 自動real-to-sim-to-real trainingがsimulation-oracle dataのみでVLA manipulation policyをpersonalizeできる可能性を示唆。 - 実機とsimulationの成功率が近く、sim-to-real transferの有効性を示す。 - ただし、要旨からは限界や失敗事例、一般化可能性に関する詳細な議論は不明。

- π_{0.5}(本手法がfine-tuneするgeneralist VLA policy) - 3D Gaussian Splatting(photorealistic digital twin構築に使用) - 従来のreal-to-sim work(個々のtabletop再構築) - Stretch 3(実機検証に使用) - 同分野の定番としてreal-to-sim-to-real pipelineやVLA manipulationに関する研究