日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
材料認識arXiv:2610.21090

RoboCloth:ニューラル反射率再構成のための大規模実布地マテリアルデータセット

RoboCloth: A Large-Scale Real Cloth Material Dataset for Neural Reflectance Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

ロボット制御で撮影した500種の実布地の大規模データセットを構築し、ニューラル反射率再構成の事前学習に有効であることを示した。

詳しい要約

1. どんなもの?

- 実在する布素材500種を対象とした大規模実測反射率データセット - ロボット制御のカメラと照明により、広い視点-光源半球を約580枚のHDRフレームで撮影 - Structure-from-Motionでカメラ姿勢を精密化し、ロボット座標系に整列 - 素材ごとに疎な表面形状と構造化された点別反射観測を提供 - ニューラル素材学習用に整形済みで、CC BY 4.0でHugging Face Hubに公開

2. 先行研究と比べてどこがすごい?

- 既存の実測反射率データセットで学習したdecoderより、本データで学習したdecoderが優位 - 解析的PBR fittingも上回る性能を示す - 独立ベンチマークUBO2014への転移が、取得系を変更せずに可能 - ロボット制御による柔軟で校正済みの取得構成が、既存データにない観測多様性を実現

3. 技術・手法の肝は?

- 2段階のニューラル再構成パイプライン - Stage 1: 共有MLP decoderを本コーパスで学習し、布素材のpriorを獲得 - Stage 2: decoderを凍結し、対象素材ごとに2048x2048の密なlatent textureをfit - 取得はロボット制御のカメラ・照明、HDR撮影、SfMによる姿勢精密化とロボット座標整列 - 素材ごとの疎形状と点別反射観測テンソルを学習入力として提供

4. どうやって有効だと検証した?

- 自データセットのheld-out素材で評価 - 独立ベンチマークUBO2014でも評価 - 本データ学習decoderが既存実測反射率データセット学習decoderおよび解析的PBR fittingを上回ることを確認 - 未見の取得システムへ無修正で転移できることを実証

5. 議論はある?

- 要旨からは不明 - 限界、失敗事例、計算コスト、汎化範囲の詳細な議論は要旨に記載なし

6. 次に読むべき論文は?

- UBO2014 benchmark - 既存のmeasured reflectance datasets(具体名は要旨からは不明) - analytic PBR fitting - neural reflectance reconstruction / neural material representation 関連の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhen Li, Haoran Qin, Francesco Di Sario, Daniel Rebain, Andrea Tagliasacchi

分類: cs.CV, cs.GR

原文アブストラクト

We present RoboCloth, a dataset of 500 real cloth materials captured under flexible, calibrated camera and lighting configurations, where both are robotically controlled during acquisition. Each material is imaged in approximately 580 high-dynamic range frames spanning a wide view-light hemisphere; camera poses are refined via structure-from-motion and aligned to the robot frame, yielding per-material sparse surface geometry and structured per-point reflectance observations ready for neural material training. We demonstrate the value of this data through a two-stage neural reconstruction pipeline: Stage 1 trains a shared MLP decoder on our corpus to learn cloth material priors; Stage 2 then freezes the decoder and fits a dense 2048x2048 latent texture to each target material. Evaluating on held-out materials from our own dataset and on the independent UBO2014 benchmark, we show that a decoder trained on our captures outperforms decoders trained on existing measured reflectance datasets and analytic PBR fitting, transferring to unseen acquisition systems without modification. The dataset, calibration files, observation tensors, and train/test splits are released under CC BY 4.0 on the Hugging Face Hub.

PR本紙発行元 EmplifAI