手物体動画から触覚表現を学ぶTouch-JEPA

- Touch-JEPA は hand-object video から tactile representation を学習するフレームワーク。 - tactile supervision が限られた状況を想定。 - video のみの self-supervised pretraining と、少数の tactile ラベルを用いる joint representation learning の2段階。 - contact discrimination と tactile magnitude estimation を対象タスクとする。

- 従来は tactile measurement のコストとカバレッジ制約が tactile representation 学習のボトルネック。 - Touch-JEPA は video のみで self-supervised pretraining を行い、tactile supervision なしでも contact/magnitude の readout が supervised baseline を上回る。 - robot tactile training data なしで robotic hands へ転移できる点が特徴。 - 限られた tactile supervision の joint learning でさらに改善。

- video から hand geometry を導出し、hand-surface 上の対応位置の masked visual features を空間・時間文脈から予測。 - これにより latent contact dynamics を捉える self-supervised objective を設計。 - joint representation learning では全 video に masked prediction を適用し、labeled subset のみ tactile supervision を与えて共有表現を measured contact/magnitude に接地。 - frozen Touch-JEPA features 上に simple supervised readouts を載せる。

- 3つの human-hand benchmarks で contact discrimination と tactile magnitude estimation を評価。 - self-supervised pretraining のみの frozen features + simple readouts が supervised baselines を上回ることを確認。 - robot tactile training data なしで robotic hands へ転移することを確認。 - limited tactile supervision の joint learning が human-hand benchmarks で contact/magnitude estimation をさらに改善。

- hand-object video が tactile representation learning の scalable な self-supervision 源になり得ることを示す。 - 限られた tactile measurement は complementary な physical grounding を提供。 - 具体的な限界・失敗事例・計算コスト・データセット依存性は要旨からは不明。

- 要旨で参照/比較されている supervised baselines や joint representation learning の関連研究。 - tactile representation learning の定番として vision-based tactile sensing（例: GelSight 系）や self-supervised video representation learning（例: masked video modeling）関連の論文。 - hand-object interaction における contact 推定・tactile magnitude 推定のベンチマーク論文。