TouchTherm: 触覚・熱レンダリングのためのマルチモーダル物体デジタルツイン構築

- 実世界の物体から、視覚・触覚・熱のマルチモーダルなデジタルツインを構築するフレームワーク TouchTherm を提案。 - 視覚・触覚再構成では structured-light scanning と photometric stereo による multiview normal maps を組み合わせる。 - 熱再構成では制御加熱後の自然冷却を同期 multiview infrared videos で撮影し、physics-regularized dynamic thermal field を再構成。 - 20物体での実験で micro-height fields が粗い geometry を超える高周波詳細を保持し、熱場は30秒・45秒で MAE 0.465℃・0.592℃ を達成。 - 触覚資産は synthetic-to-real 物体認識を支援し、glove-based VR system が時空間的に変化する熱フィードバックを実証。

- 既存の3Dデータセットや再構成手法は主に物体スケールの geometry と視覚外観を表現し、高忠実度 haptic rendering のための microscale surface structure や温度対応相互作用のための transient temperature dynamics を軽視していた。 - TouchTherm は視覚・触覚・熱を統合した simulation-ready な物体資産を実世界物体から構築する点で先行研究と異なる。 - 触覚では粗い mesh と micro-height fields を分離し、熱では physics-regularized な動的熱場を再構成することで、従来の静的な外観中心の表現を超える。

- 視覚・触覚再構成: structured-light scanning で粗い geometry を取得し、photometric stereo による multiview normal maps を登録・tangent space 変換して local micro-height fields を復元。 - 粗い mesh は collision detection に、micro-height fields は optical tactile rendering に用いる。 - 熱再構成: 制御加熱後の自然冷却を同期 multiview infrared videos で撮影し、physics-regularized dynamic thermal field を再構成。 - これにより simulation-ready な visuo-tactile-thermal 資産を生成。

- 20物体で実験し、再構成された micro-height fields が支配的な表面構造を保持し、粗い geometry を超える高周波詳細を復元することを確認。 - 熱場は held-out surface-temperature で30秒後 MAE 0.465℃、45秒後 MAE 0.592℃ を達成。 - 触覚資産が tactile observations からの synthetic-to-real 物体認識を支援することを示す。 - glove-based VR system により空間的・時間的に変化する熱フィードバックを実証。

- 結果は multimodal sensory simulation と temperature-aware virtual interaction への TouchTherm の可能性を示す。 - 要旨からは、限界や失敗事例、計算コスト、一般化可能性に関する議論は不明。 - 20物体という評価規模や、実世界応用への展開に関する議論は要旨からは不明。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として structured-light scanning、photometric stereo、optical tactile rendering、physics-regularized dynamic thermal field、synthetic-to-real object recognition、glove-based VR system が挙げられる。 - 同分野の定番として、視覚・触覚・熱のマルチモーダル物体データセットや simulation-ready 資産構築に関する研究を読むべき。