Tactus: 低コスト圧力アレイによるオープン語彙物体認識

Tactusは、低コストの抵抗式圧力アレイ（tactile sensor）からの圧力データのみを用いて、テキストクエリに基づく物体認識を行うオープンモデルである。STAGベンチマーク（27物体、ホールドアウト記録）において、top-1精度0.771±0.062（top-3 0.935）を達成し、教師ありclosed-set CNN（0.76）に匹敵または上回る性能を示す。訓練データは187記録と小規模で、144kのラベルなしフレームによるmasked-autoencoder事前学習と、センサー自身のキャリブレーションアフィン変換を利用する。

従来のtactile表現学習は、変形するゲルを撮像する光学センサーに集中していたが、Tactusは最も安価で広く使われている抵抗式圧力アレイに焦点を当てている。また、教師なし事前学習とキャリブレーションの活用により、教師あり閉集合CNNと同等以上の精度を、分類ヘッドなしで達成している点が優れている。さらに、失敗事例の報告も詳細で、cross-sensor事前学習の無効性やvision co-trainingの悪影響など、実用的な知見を提供している。

手法の肝は、小データ設定での効果的な学習にある。具体的には、(1) 187の訓練記録という少量データ、(2) 144kのラベルなし同一センサーフレームを用いたmasked-autoencoder事前学習、(3) センサー自身のキャリブレーションアフィン変換の利用。キャリブレーションは、アーキテクチャ変更を合わせたよりも精度向上に寄与した。また、テキストクエリと圧力データを直接対応させるオープン語彙認識を実現している。

STAGベンチマーク（27物体、ホールドアウト記録）で評価し、4回の実行でtop-1 0.771±0.062、top-3 0.935を達成。教師あり閉集合CNN（0.76）と比較し、同等以上であることを示した。さらに、誤りが接触曖昧なクラスに集中し、テキストターゲットの幾何学との相関が低い（Spearman rho ≤ 0.05、702クラス対）こと、パラフレーズや裸の名前クエリでも性能が維持されること、2フレームで8フレーム精度の89%を回復することを検証した。

議論として、失敗事例の詳細な報告がある。cross-sensor事前学習のプーリングは利得がなく、vision co-trainingは触覚を悪化させた。また、誤正規化された入力パイプラインがセンサーのダイナミックレンジの97%を静かに捨て、もっともらしい中間結果を生成する問題が報告されている。これらの結果は、センサー固有の特性とデータ前処理の重要性を示唆している。

要旨で参照されているSTAGベンチマーク、masked-autoencoder、および関連するtactile表現学習の研究。具体的には、光学センサーを用いたtactile表現学習の先行研究や、オープン語彙認識のためのVision-Languageモデル（例：CLIP）との関連が考えられるが、要旨からは不明。