AVT-Fabric、布地比較で能動的に触覚証拠を選ぶ手法を発表　7Bモデルで精度98.0%

何が起きたか

arxiv.orgは2026-09-18、AVT-Fabricを発表した。これは、布地の比較においてRGB画像を先に使い、難しい比較だけ触覚証拠を追加する視覚・触覚融合フレームワークである。400件の保留比較で、コンパクトな7Bのマルチモーダル大規模言語モデルを用いて精度98.0%を達成した。

詳細

手法は、答えトークンの信頼度と生ログットの分離度を評価する二重スケールのゲートで、追加の力タグ付きGelSight観測が必要かどうかを判定する。実行履歴はコンパクトなテキスト記憶として保持され、選択した予測は多数決で統合する。平均では利用可能な5段階のうち1.60段階のみを処理し、マッチさせた受動的推論比で精度を9.25ポイント改善し、モデル側レイテンシーを61.8%削減した。 同論文は、90BのMLLM-Fabricベースラインが報告した94.0%を4.0ポイント上回ったとしている。さらに4種類のMLLMバックボーンでも有効性を示し、実ロボットシステムではペアワイズ順位付け精度78.1%を達成し、8つの適用シナリオのうち7つで正しい布地選択を行った。

Key Facts

本紙の見方

AVT-Fabricの新しさは、布地比較を「最初から全部見る」方式ではなく、RGBで足りるものはそこで止め、難例だけ触覚を足す設計にある点である。精度98.0%と7Bモデルという組み合わせ自体も重要だが、同論文の主眼は、5段階のうち平均1.60段階しか使わずに94.0%の90Bベースラインを上回った点にある。ここから読めるのは、性能向上と計算資源の削減を別々の目標として扱うのではなく、証拠の追加順序を制御することで両立させようとしていることだ。 本紙の関連記事はないため、過去報道との連続性は置かない。ただし今回の内容は、単なるマルチモーダル認識の精度比較ではなく、視覚と触覚のどちらをいつ使うかという運用設計に焦点がある。つまり、ロボットが現場でセンサーを常時フル稼働させる前提から、判断の難易度に応じて観測コストを抑える前提へ移っている。実ロボットで78.1%の順位付け精度と7/8シナリオでの正しい選択を示したことは、論文内評価がシミュレーションに閉じていない点を補強するが、同時に性能は比較タスクに限定されている。 業界構造への含意としては、ロボット向けの認識基盤で必要になるのが、より大きなモデルそのものより、観測を節約する制御ロジックになりうる点がある。触覚センサーやカメラを増やすだけではなく、どの段階で追加観測を打つかを決めるゲートがボトルネックになれば、計算資源、センサー運用、遅延の三者を同時に設計する必要が出る。今回の4種類のバックボーンでの再現性は、特定モデル専用ではない可能性を示すが、データの種類や布地以外の対象にどこまで転用できるかはまだ限定的である。 次に確認すべき論点は、実機での78.1%がどの程度の条件で再現されるか、5段階のどの局面で触覚追加が起きたか、また力タグ付きGelSight観測の設計が他素材や他作業にそのまま使えるかである。加えて、モデル側レイテンシー61.8%削減が実装環境やハードウェア条件に依存していないかも、実用性を判断するうえで必要になる。

なぜ重要か

AVT-Fabricは、布地比較という限定タスクで、7Bモデルでも94.0%の90Bベースラインを上回り、しかも5段階中1.60段階しか使わない設計を示した点に意味がある。触覚を常時追加するのではなく、必要時だけ観測する方式が、精度と遅延の両方に効く可能性を示しているためである。

日本への影響

日本企業や研究機関にとっては、カメラと触覚センサーを単純に足す競争ではなく、追加観測をいつ打つかを制御する設計が論点になる。布地のような識別対象であれば、センサー統合よりも、現場での遅延と観測回数を抑える判断ロジックの実装力が問われるとみられる。