日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
視触覚マニピュレーションarXiv:2610.26846

GPT-6 Astraは接触の多いマニピュレーションのためのネイティブ視触覚ポリシーである

GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル基盤モデルGPT-6 Astraが視覚ベースの触覚画像を直接解釈し、接触を伴う操作タスクで専門ポリシーを上回る成功率を達成したことを示した研究。

詳しい要約

1. どんなもの？

- GPT-6 Astra が vision-based tactile image を直接解釈し、contact-rich manipulation に活用できるかを検証した研究 - tactile RGB image を既存の visual interface 経由で入力し、few-shot closed-loop control を実現 - UniVTAC と OpenViTac の計19タスク、各設定210 scene seeds で評価 - contact-rich control と tactile perception は specialist policy の強みとされてきた前提に挑む位置づけ

2. 先行研究と比べてどこがすごい？

- Astra が tactile observation を直接理解・利用できることを示した初の実証と主張 - visuo-tactile 入力で mean success rate 93.8% / 81.8% を達成 - 比較した最强 specialist baseline をそれぞれ 22.9 / 13.1 percentage points 上回る - vision-only でも 76.3% / 80.6% と specialist baseline を上回る - contact-rich manipulation における specialist policy の独占性に疑問を投げかける

3. 技術・手法の肝は？

- tactile RGB image を Astra の既存 visual interface にそのまま入力する設計 - in-context learning による few-shot closed-loop control を利用 - vision と touch を統合する専用アーキテクチャではなく、視覚入力として tactile を扱う点が肝 - trajectory analysis で active probing、cautious grasping、contact-guided alignment、recovery を観察

4. どうやって有効だと検証した？

- 19 の simulated UniVTAC / OpenViTac タスクで評価 - 各設定 210 sampled scene seeds をサンプリング - visuo-tactile と vision-only の両条件で success rate を比較 - trajectory analysis により接触を伴う行動パターンを定性的に分析 - ただし physical-robot validation は今後の課題として言及

5. 議論はある？

- tangential loading や corrective execution に困難があると報告 - fine-grained vision が missing touch を部分的に補償し得ることを示唆 - vision-based tactile sensing が foundation model で contact understanding をスケールする interface になり得ると主張 - benchmark saturation の兆候を指摘 - joint visual-tactile pretraining、より難しい contact-rich 評価、physical robot での検証が必要と議論

6. 次に読むべき論文は？

- UniVTAC および OpenViTac の関連研究・benchmark 論文 - 比較対象となった specialist policy の baseline 研究 - vision-based tactile sensing（例: GelSight 系の tactile sensor 研究） - joint visual-tactile pretraining に関する研究 - contact-rich manipulation の benchmark 設計に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Yang, Linzhe Shi, Hang Zhang, Mu Xu, Jiansheng Fan, Chen Wang

分類: cs.RO

原文アブストラクト

Recent advances in multimodal models have enabled GPT-6 Astra to perform robotic manipulation through in-context learning. Yet contact-rich control and tactile perception are often regarded as strengths of specialist policies, leaving open whether Astra can directly understand and use tactile observations. We provide, to our knowledge, the first demonstration that Astra directly interprets vision-based tactile images and uses their contact cues for manipulation. Tactile RGB images enter through its existing visual interface, enabling few-shot closed-loop control on nineteen simulated UniVTAC and OpenViTac tasks with 210 sampled scene seeds per setting. With visuo-tactile input, Astra achieves mean success rates of 93.8% and 81.8%, exceeding the strongest reported specialist baselines in our comparison by 22.9 and 13.1 percentage points, respectively. Vision-only performance also leads these baselines, reaching 76.3% and 80.6%. Trajectory analysis reveals active probing, cautious grasping, contact-guided alignment, and recovery, alongside difficulties with tangential loading and corrective execution. Our findings challenge the exclusivity of specialist policies in contact-rich manipulation and show that fine-grained vision can partially compensate for missing touch. They also identify vision-based tactile sensing as an interface for scaling contact understanding with foundation models and reveal signs of benchmark saturation. These results motivate joint visual-tactile pretraining, harder contact-rich evaluations, and physical-robot validation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI