日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
触覚arXiv:2610.31334

GelSlim 5.0：単一指尖カメラで視覚と触覚を統合

GelSlim 5.0: Unifying Vision and Touch with a Single Fingertip Camera

シェア:XThreadsFacebookLINEはてブBluesky

1台の固定カメラとUV応答性接触層を組み合わせ、照明切替で同一視点から視覚画像と触覚画像を順次取得する指尖センサーを提案。両モダリティを融合するTransformer「VisTacFusion」で物体姿勢と接触形状を推定する。

詳しい要約

1. どんなもの？

- GelSlim 5.0 という fingertip sensor の提案 - 単一の固定 camera と連続的な UV-responsive contact layer を用いる - 照明を切り替えることで、同一視点から through-membrane visual images と contact-sensitive tactile images を順次取得 - 視覚と触覚を統合する multimodal transformer「VisTacFusion」も導入 - 対象は planar object pose と contact geometry の推定

2. 先行研究と比べてどこがすごい？

- 従来は external camera が接触部位で occluded になりやすい問題があった - 単一 camera で視覚・触覚を同一視点から取得することで、inter-camera extrinsic calibration を回避 - 同一モデルでの比較で、tactile-only に対し paired inputs が depth MSE・angular error・translation L1 を大きく低減 - visual-only に対しても paired inputs が各指標を改善

3. 技術・手法の肝は？

- 単一固定 camera と UV-responsive contact layer を組み合わせた fingertip sensor - 照明切替により visual images と tactile images を shared viewpoint で順次取得 - VisTacFusion は planar object pose と contact geometry に別々の prediction paths を持つ multimodal transformer - Asymmetric bottleneck fusion で visual context を取り込みつつ、depth と surface-normal 推定のための tactile spatial features を保持 - Modality dropout により paired inputs でも単一 modality でも推論可能

4. どうやって有効だと検証した？

- 12 known objects の real validation data で評価 - 同一モデル内で paired inputs と tactile-only を比較 - depth MSE 61.2% 減、angular error 72.3% 減、translation L1 61.3% 減 - paired inputs と visual-only を比較 - depth MSE 93.7% 減、angular error 6.1% 減、translation L1 8.6% 減

5. 議論はある？

- 要旨からは不明 - 明示されているのは上記の定量的改善と modality dropout による柔軟な推論 - 限界や失敗事例、汎化性に関する議論は要旨に記載なし

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない - 関連手法として tactile-only inference、visual-only inference、multimodal transformer、asymmetric bottleneck fusion、modality dropout が挙げられる - 同分野の定番として GelSight 系 tactile sensor や vision-tactile fusion 研究を次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangdong Wang, I-Hsuan Huang, Xiaohao Xu, Xili Yi, Nima Fazeli, Xiaonan Huang

分類: cs.RO

原文アブストラクト

Vision and touch provide complementary cues for object pose and local contact geometry, but external cameras are often occluded at the contact site. We present GelSlim 5.0, a fingertip sensor that acquires visual and tactile observations with one fixed camera and a continuous UV-responsive contact layer. By switching illumination, the camera sequentially acquires through-membrane visual images and contact-sensitive tactile images from a shared viewpoint, avoiding inter-camera extrinsic calibration. To combine these observations, we introduce VisTacFusion, a multimodal transformer with separate prediction paths for planar object pose and contact geometry. Asymmetric bottleneck fusion incorporates visual context while preserving tactile spatial features for depth and surface-normal estimation. Modality dropout enables inference with paired inputs or either modality alone. On real validation data from 12 known objects, paired inputs reduce depth MSE, angular error, and translation $L_1$ by 61.2%, 72.3%, and 61.3%, respectively, relative to tactile-only inference with the same model. Relative to visual-only inference, the corresponding reductions are 93.7%, 6.1%, and 8.6%.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI