触覚2026/9/13arXiv:2609.14783

言語ガイドによるセンサ非依存な触覚表現学習

Language-Guided Representation Learning for Robust Cross-Sensor Material Recognition

触覚画像を言語埋め込みに整列させる蒸留フレームワークを提案し、異なる触覚センサ間での材料認識の汎化性能を大幅に向上させた。

詳しい要約

1. どんなもの？

- 視覚ベース触覚センサー間の差異に頑健な触覚表現を学習する手法。 - 言語をセンサー非依存の監督信号として用いる language-guided distillation framework を提案。 - 39K-sample の touch-language dataset を構築し、触覚画像を言語埋め込みに整列。 - few-shot learning と cross-sensor transfer を評価。

2. 先行研究と比べてどこがすごい？

- 従来は単一/複数センサーで学習すると、optics・elastomer・illumination の違いにより汎化が悪い。 - 言語は rough, soft, slippery などハードウェア不変の高レベル意味を符号化でき、sensor-agnostic な監督信号になる。 - 100-shot で 95% 精度、cross-sensor transfer を平均 13.3% 改善、6 つの既存 tactile dataset で最大 19% 向上。

3. 技術・手法の肝は？

- 触覚エンコーダを言語埋め込みと共有意味空間で整列させる distillation。 - 言語がセンサー間で不変な意味特性を提供し、sensor-specific な触覚画像の差異を吸収。 - 39K-sample の touch-language dataset と human-annotated material labels を使用。

4. どうやって有効だと検証した？

- few-shot learning と cross-sensor transfer で評価。 - 6 つの既存 tactile dataset でベンチマーク。 - 100-shot で 95% 精度、cross-sensor transfer 平均 13.3% 改善、最大 19% 精度向上を報告。

5. 議論はある？

- 言語誘導 distillation が scalable かつ hardware-agnostic な触覚表現学習を可能にすると主張。 - 限界や失敗事例、計算コスト、言語ラベルの偏りなどの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として vision-based tactile sensors、cross-sensor transfer、few-shot learning、language-guided representation learning の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mashood M. Mohsan, Muhayy Ud Din, Binzhao Xu, Ahmad Abubakar, Irfan Hussain

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Robots need touch to manipulate objects safely and reliably, as many properties, such as softness, texture, and contact stability, are hard to infer from vision alone. However, vision-based tactile sensors yield different observations of the same material due to variations in optics, elastomer properties, and illumination, leading to poor generalization when trained on a single or multiple sensors. We propose a language-guided distillation framework for learning sensor-robust tactile representations. Language encodes high-level semantic properties of touch (e.g., rough, soft, slippery) that remain invariant across sensing hardware, providing a natural sensor-agnostic supervisory signal. We construct a 39K-sample touch-language dataset with human-annotated material labels and train a tactile encoder to align sensor-specific tactile images with language embeddings in a shared semantic space. We evaluate our approach for few-shot learning and cross-sensor transfer and benchmark it on six existing tactile datasets. Our method achieves 95% accuracy in the 100-shot setting, improves cross-sensor transfer by an average of 13.3% accuracy, and yields up to 19% accuracy gains across six existing tactile datasets. These results demonstrate that language-guided distillation enables scalable and hardware-agnostic tactile representation learning. Code and dataset are available at https://mashood3624.github.io/Language_Tactile/

arXivで原文を読む →arXiv概要ページ