Tactus: Open-Vocabulary Object Recognition from Low-Cost Pressure Arrays

Tactusは、低コストの抵抗式圧力アレイ（tactile sensor）からの圧力データのみを用いて、テキストクエリに応答するオープンな物体認識モデルである。STAGベンチマーク（27物体、ホールドアウト記録）でtop-1精度0.771±0.062（top-3 0.935）を達成し、教師ありclosed-set CNN（0.76）に匹敵、場合によっては上回る。

従来のtactile表現学習は、変形するゲルを撮像する光学センサに集中していたが、Tactusは最も安価で広く使われる抵抗式圧力アレイに焦点を当て、圧力データのみからテキストクエリに答えるオープンモデルを実現。教師なしのマスク付きオートエンコーダ事前学習とセンサのキャリブレーションアフィン変換の活用により、学習済み分類ヘッドなしで教師ありCNNを凌駕する精度を達成した点が新しい。

手法の肝は、小データ（187トレーニング記録）での学習、144kのラベルなし同一センサフレームでのmasked-autoencoder事前学習、そしてセンサ自身のキャリブレーションアフィン変換の使用である。このキャリブレーションは、アーキテクチャ変更を全て合わせたよりも精度を向上させた。また、メモリ層にプラグインするモデルとして設計されている。

STAGベンチマーク（27物体、ホールドアウト記録）で4回の実行によるtop-1精度0.771±0.062（top-3 0.935）を報告。教師ありclosed-set CNN（0.76）と比較し、同等以上であることを示した。さらに、パラフレーズや裸の名前クエリでも精度が1ポイント以内で維持され、2つの多様なフレームで8フレーム精度の89%を回復することを検証。エラーは接触曖昧なクラスに集中し、テキストターゲットの幾何学との相関は低い（Spearman rho ≤ 0.05、702クラスペア）。

要旨からは、失敗事例として、クロスセンサ事前学習のプーリングは利得がなく、視覚の共学習は触覚を低下させ、誤正規化された入力パイプラインがセンサのダイナミックレンジの97%を静かに破棄したことが報告されている。また、エラーが接触曖昧なクラスに集中すること、テキストターゲットの幾何学との相関が低いことなどが議論されている。

要旨で参照されているSTAGベンチマーク、masked-autoencoder、closed-set CNN、および関連するtactile representation learningの研究（光学センサを用いたもの）が挙げられる。具体的には、STAGデータセットを提案した論文や、tactileセンサの表現学習に関する既存研究が次に読むべき論文と考えられる。