VTAM、触覚を統合した世界行動モデルを提案 接触を要する操作で成功率90%

何が起きたか

arxiv.orgに2026年3月24日付で掲載された論文において、Video-Tactile Action Model (VTAM)が発表された。VTAMは、事前学習済みのビデオトランスフォーマーに触覚ストリームを軽量なモダリティ転移ファインチューニングで統合し、接触を要する操作で平均成功率90%を達成した。

詳細

VTAMは、視覚のみでは部分的にしか観測できない接触状態を補完するため、触覚を接地信号として組み込む。触覚と言語のペアデータや独立した触覚事前学習を必要とせず、軽量なモダリティ転移ファインチューニングにより効率的なクロスモーダル表現学習を実現する。また、視覚潜在表現の支配を防ぐため、触覚正則化損失を導入し、バランスの取れたクロスモーダル注意を強制する。

Key Facts

本紙の見方

今回のVTAMの提案は、視覚と言語を中心に発展してきた世界行動モデルに、触覚という新たなモダリティを追加する点で新規性がある。従来のVideo-Action Models (VAMs)は、長期的なタスクでは視覚推論により強い性能を示す一方、接触を要するシナリオでは視覚のみでは限界があった。VTAMは、触覚を接地信号として統合することで、この限界を克服しようとするものであり、接触を要する操作における成功率90%という数値は、その有効性を示している。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、ロボット工学における基盤モデルの進展という文脈では、視覚と言語に加えて触覚を統合する流れは、より物理的な接地を重視する方向性の延長線上にあるとみられる。 業界構造への含意としては、触覚センサーの重要性が増す可能性がある。VTAMは触覚データを活用するが、そのためには高精度な触覚センサーが必要であり、センサーメーカーやロボット部品サプライチェーンに影響を与える可能性がある。また、触覚データの収集とラベリングのコストも課題となるが、VTAMは触覚と言語のペアデータを必要としないため、データ収集のハードルを下げる可能性がある。 未確定の論点としては、VTAMの実ロボットへの適用時の性能や、触覚センサーの種類による性能差、学習データの規模と多様性が挙げられる。論文では成功率90%と報告されているが、これは特定のタスクセットにおける結果であり、実世界の多様な環境での汎用性は今後の検証が待たれる。

なぜ重要か

VTAMの提案は、ロボットの接触を伴う操作能力を向上させる可能性があり、製造業や物流などでの自動化の進展に寄与する可能性がある。また、触覚を統合した基盤モデルの開発は、ロボットがより複雑な物理的相互作用を扱うための重要な一歩となる。