日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLA/触覚/操作arXiv:2608.15816v1

ViTaR: 基盤VLA操作のための視触覚残差適応

ViTaR: Visuo-Tactile Residual Adaptation for Foundation VLA Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクで、凍結したVLAモデルに触覚情報に基づく小さな残差補正を加える手法を提案し、既存の触覚ベースラインを上回る成功率を達成した。

詳しい要約

1. どんなもの?

ViTaRは、接触を伴う操作タスクにおいて、凍結したVision-Language-Action (VLA)モデルの出力を、触覚フィードバックに基づく残差補正で変調する手法を提案する。触覚をアクション生成の入力ではなく、実行モジュレータとして扱い、事前学習済みのVLAの能力を保持しつつ、接触イベントへの適応を実現する。

2. 先行研究と比べてどこがすごい?

既存の触覚統合手法は、VLA内部を変更して触覚を直接アクション生成に組み込むため、破滅的忘却のリスクがある。また、オンライン強化学習を必要とするものもある。ViTaRは、凍結したVLAの出力に限定された残差補正を加えることで、事前学習の知識を損なわずに触覚情報を活用する点が新しい。

3. 技術・手法の肝は?

ViTaRは2段階の適応を導入する。第一段階のEffect-Guided Modelingでは、接触の結果に基づく選好証拠を用いて、補正が必要かどうか、どの方向の補正が適切かを判断する。第二段階のResidual Action Modulationでは、実時間の視触覚観測から連続的なゲインを計算し、その証拠を残差アクションの選択とスケーリングに変換する。

4. どうやって有効だと検証した?

UniVTACベンチマークの7つの接触リッチタスクで評価し、平均成功率61.3%を達成。凍結VLAベースラインから30.6ポイント改善し、専用の触覚ベースラインも上回った。さらに、実ロボット実験で、実センサノイズやダイナミクス下でも有効性を確認した。

5. 議論はある?

要旨からは、ViTaRの限界や議論点は明示されていない。ただし、触覚の影響を限定された残差に制限することで、VLAの汎化能力を保つ一方、複雑な接触操作には不十分な可能性が考えられるが、要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されているUniVTACベンチマーク、およびVLAモデル、触覚ロボティクスに関する基礎研究。具体的には、VLAの基盤となるVision-Language-Actionモデルや、触覚センシングと制御の統合に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Wang, Renjun Wu, Jinyan Liu, Xuesong Li

分類: cs.RO

原文アブストラクト

As Vision-Language-Action (VLA) models scale toward real-world deployment, contact-rich manipulation exposes a critical blind spot: these policies encode broad visual-semantic priors yet remain unaware of local contact events, producing identical actions whether contact is established, lost, or destabilized. Existing remedies either modify VLA internals, risking catastrophic forgetting, or demand online reinforcement under near-failure contact conditions. Both grant tactile unbounded influence over action generation, conflicting with the priors that make VLAs generalizable. We introduce ViTaR, which reframes tactile feedback from an action-generating perceptual input to an execution modulator that selects and scales bounded residual corrections atop a frozen VLA, preserving pretrained capabilities by construction. ViTaR decomposes adaptation into two stages: Effect-Guided Modeling determines whether and which correction is locally justified via outcome-grounded preference evidence, and Residual Action Modulation converts this evidence into a residual choice with continuously scaled gain from real-time visuotactile observations. On the UniVTAC benchmark spanning seven contact-rich tasks, ViTaR achieves 61.3% average success, a 30.6 percentage-point improvement over its frozen VLA base that also surpasses purpose-built tactile baselines. Physical-robot experiments confirm that bounded tactile modulation transfers to real sensor noise and dynamics.