日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2609.20680

合成データによる海中知覚のスケーリングに向けて

Towards Scaling Marine Perception with Synthetic Data

シェア:XThreadsFacebookLINEはてブBluesky

IsaacSimベースの海中知覚シミュレータOceanSimに合成データ生成パイプラインを追加し、ウニ検出タスクでsim-to-real性能を評価した研究。

詳しい要約

1. どんなもの?

- 本論文は、水中環境における知覚タスクのための機械学習をスケールさせることを目的とした研究。 - 具体的には、IsaacSimベースの水中知覚シミュレータOceanSimを拡張し、Synthetic Data Generation (SDG) パイプラインを追加。 - このパイプラインにより、大規模で自動ラベリングされたフォトリアリスティックなデータセットを、シーン外観・構造・センサ設定を構成可能な形で生成できる。 - 実世界のsea urchin detectionタスクで評価し、合成シーン変動がsim-to-real性能に与える影響を調査。 - オープンソースコードを公開。

2. 先行研究と比べてどこがすごい?

- 従来、水中環境ではラベル付き実世界データの不足が大きな制約であり、データ収集は高コストで労力がかかる。 - 本論文は、シミュレーションによる合成データでこのギャップを埋めることを目指す。 - 既存のOceanSimを拡張し、SDGパイプラインを追加した点が新規。 - ユーザーが大規模・自動ラベル付き・フォトリアリスティックなデータセットを生成できる点が先行研究と比べて優れている。 - ただし、具体的な先行研究との定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- IsaacSimベースの水中知覚シミュレータOceanSimを拡張。 - Synthetic Data Generation (SDG) パイプラインを構築。 - シーンの外観、構造、センサ設定を構成可能。 - 自動ラベリングされた大規模フォトリアリスティックデータセットを生成。 - 生成データを用いてモデルを訓練し、実世界のsea urchin detectionタスクに適用。 - 合成シーン変動の異なる形式がsim-to-real性能に与える影響を実験的に検討。

4. どうやって有効だと検証した?

- 実世界のsea urchin detectionタスクで評価。 - 合成シーン変動の異なる形式がsim-to-real性能に与える影響を実験的に調査。 - 結果に基づき、現在のパイプラインの主な限界と、水中レンダリング忠実度・シーン多様性・sim-to-real一般化の評価を改善する将来方向を議論。 - 具体的な評価指標やベースラインとの比較は要旨からは不明。

5. 議論はある?

- 実験結果に基づき、現在のパイプラインの主な限界を議論。 - 水中レンダリングの忠実度、シーン多様性、sim-to-real一般化の評価を改善する将来方向を特定。 - 具体的な限界の内容や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、IsaacSimベースのOceanSim、Synthetic Data Generation (SDG)、sim-to-real転移、水中知覚、sea urchin detectionが挙げられる。 - 同分野の定番として、domain randomization、photorealistic rendering、underwater simulation、sim-to-real transferの論文を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Ma, Onur Bagoren, Anja Sheppard, Elias Fandi, Ashrith Edukulla, Tanner Aslan, Natasha Sieh, Jingyu Song, Katherine A. Skinner

分類: cs.RO, cs.CV

原文アブストラクト

Scalable machine learning in challenging underwater environments is strongly limited by the lack of labeled real-world training data. This data is often expensive and laborious to gather, making large-scale real-world data challenging to gather and curate. However, simulated data can help close the gap, enabling many learning-based tasks for underwater perception. In this work, we extend OceanSim, an IsaacSim-based underwater perception simulator, with a Synthetic Data Generation (SDG) pipeline for training models to be used in underwater scenarios. The proposed pipeline enables users to generate large, automatically labeled, photorealistic datasets with configurable scene appearance, structure, and sensor settings. We evaluate the pipeline on a real-world sea urchin detection task and study how different forms of synthetic scene variation affect sim-to-real performance. Based on these experiments, we discuss findings on our results, main limitations of the current pipeline and identify future directions for improving underwater rendering fidelity, scene diversity, and the evaluation of sim-to-real generalization. The open-source code can be found at https://github.com/umfieldrobotics/OceanSim.

関連論文

PR本紙発行元 EmplifAI