日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
触覚arXiv:2609.14156

見える触覚:視覚運動ポリシーのための接触情報レンダリング

Visible Touch: Rendering Contact for Visuomotor Policies

シェア:XThreadsFacebookLINEはてブBluesky

接触信号をシーンと同じ画像空間に描画することで、アーキテクチャ変更なしに視覚ベースのポリシーへ触覚情報を統合し、低コスト磁気センサとともに操作性能を向上させた研究。

詳しい要約

1. どんなもの?

- 視覚運動ポリシーに接触情報を統合する手法『Visible Touch』を提案。 - 接触信号をポリシーが既に注目するシーンと同じ空間フレームで提示する点が鍵。 - 低コスト磁気接触センサを自作し、CAD-to-moldパイプラインでオープンソース化。 - 画像条件付きポリシーをアーキテクチャ変更なしで接触利用可能にする。

2. 先行研究と比べてどこがすごい?

- 既存手法は専用触覚ハードウェア、別個の触覚エンコーダ、非画像バックボーンを要した。 - これらは事前学習済み2D視覚表現に基づく画像条件付きポリシーの現代パラダイムと非互換。 - Visible Touchはアーキテクチャ変更なしで任意の画像条件付きポリシーに接触を利用させる。 - ボトルネックは接触情報自体ではなくその提示方法にあるという洞察が先行研究と異なる。

3. 技術・手法の肝は?

- 接触信号をシーンと同じ空間フレームで可視化し、ポリシーが直接利用できる形で提示。 - 低コスト磁気接触センサをオープンソース化。 - 市販部品からパラメトリックCAD-to-moldパイプラインで作製。 - 接触統合戦略が触覚情報の有効利用に強く影響することを制御比較で示す。

4. どうやって有効だと検証した?

- LIBEROベンチマークでBC-Transformerの成功率を2-view設定で平均15.7ポイント改善。 - 1-view設定でも同様の向上を確認。 - 事前学習済みVLAの微調整でも同様の傾向。 - miniVLAはLIBEROで平均25ポイント向上。 - π_{0.5}は実世界の接触リッチ4タスクで自作センサにより30ポイント向上。

5. 議論はある?

- 接触統合戦略が触覚情報の有効利用に強く影響することを制御比較で示す。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- BC-Transformer - miniVLA - π_{0.5} - LIBEROベンチマーク - 事前学習済みVLAモデル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Metin Alp Dogan, Edward Sun, Feng Xu, Daniel Wu, Allen Peng, Dennis Hong, Yuchen Cui

分類: cs.RO

原文アブストラクト

Integrating contact information into visuomotor policies remains an open problem. Touch is essential to robust manipulation, yet most modern policies, including pretrained vision-language-action (VLA) models, operate from vision and proprioception alone. Existing approaches to closing this gap require specialized tactile hardware, add separate tactile encoders, or commit to non-image policy backbones, all incompatible with the modern paradigm of image-conditioned policies built on pretrained 2D visual representations. Our key insight is that the bottleneck is not the contact information itself, but how it is delivered: when contact signals are exposed in the same spatial frame as the scene the policy already attends to, they become directly usable by any image-conditioned policy without architectural changes. We operationalize this insight in Visible Touch, paired with a custom low-cost magnetic contact sensor that is open-sourced and fabricated from off-the-shelf parts via a parametric CAD-to-mold pipeline. Across the LIBERO benchmark, Visible Touch improves BC-Transformer success by 15.7 percentage points on average in the 2-view setting, with similar gains in the 1-view setting; controlled comparisons show that the contact-integration strategy strongly affects how effectively tactile information is used. The pattern holds when fine-tuning pretrained VLAs: miniVLA on LIBERO gains 25 percentage points on average, and $π_{0.5}$ on four real-world contact-rich tasks gains 30 percentage points with our custom sensor.

関連論文