合成データによる海中知覚のスケーリングに向けて
Towards Scaling Marine Perception with Synthetic Data
IsaacSimベースの海中知覚シミュレータOceanSimに合成データ生成パイプラインを追加し、ウニ検出タスクでsim-to-real性能を評価した研究。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Haoyu Ma, Onur Bagoren, Anja Sheppard, Elias Fandi, Ashrith Edukulla, Tanner Aslan, Natasha Sieh, Jingyu Song, Katherine A. Skinner
分類: cs.RO, cs.CV
原文アブストラクト
Scalable machine learning in challenging underwater environments is strongly limited by the lack of labeled real-world training data. This data is often expensive and laborious to gather, making large-scale real-world data challenging to gather and curate. However, simulated data can help close the gap, enabling many learning-based tasks for underwater perception. In this work, we extend OceanSim, an IsaacSim-based underwater perception simulator, with a Synthetic Data Generation (SDG) pipeline for training models to be used in underwater scenarios. The proposed pipeline enables users to generate large, automatically labeled, photorealistic datasets with configurable scene appearance, structure, and sensor settings. We evaluate the pipeline on a real-world sea urchin detection task and study how different forms of synthetic scene variation affect sim-to-real performance. Based on these experiments, we discuss findings on our results, main limitations of the current pipeline and identify future directions for improving underwater rendering fidelity, scene diversity, and the evaluation of sim-to-real generalization. The open-source code can be found at https://github.com/umfieldrobotics/OceanSim.
関連論文
- チャンク型VLAマニピュレーションポリシーの学習と実機展開のためのSim-to-Real統合パイプラインsim2real
- 運動学を超えて:筋駆動模倣学習のためのシミュレーション忠実度ベンチマークsim2real
- CRISP: 多様な形状と接触ソルバを備えた接触リッチロボットシミュレーション基盤sim2real
- 同じ世界、異なる知識:孤立評価が世界モデルの修復を誤判定するときsim2real
- DEXTERA: 単一画像から実機展開可能な巧みなマニピュレーションへ向けたReal-to-Sim-to-Realsim2real
- 単一スキャンからのガウシアンスプラッティングによる実演合成と視覚運動ポリシー学習sim2real