RepSAM、ロボット視覚向け基盤モデル適応でパラメータ158倍削減 論文公開

何が起きたか

arxiv.orgに2026年5月25日付で掲載された論文(識別番号2605.25495v1)において、RepSAMと呼ばれるロボット視覚向け基盤モデル適応手法が発表された。RepSAMは、SAMなどの基盤モデルをロボット視覚に適応させるためのパラメータ効率的ファインチューニング(PEFT)フレームワークであり、6つのベンチマークとロボット操作タスクで評価された。

詳細

論文によると、RepSAMはトランスフォーマー層ごとの表現シフトの不均一性に着目し、浅い層ではドメインギャップが大きく(CKA<0.5)、深い層では転移が有効(CKA>0.7)であることを観察した。これに基づき、理論的に裏付けられたCKAガイドのランク割当戦略と、透明物体や散らかったシーンなどの困難なロボットシナリオに対処するマルチモーダル融合モジュールを採用している。実験では、RepSAMはフルファインチューニングの97.9%の性能(89.0% vs 90.9% mIoU)を達成しつつ、学習可能パラメータを632Mから4.0Mへ158倍削減した。また、DoRAと比較して7.9% mIoU向上し、単一のA100 GPUで4時間の学習(フルファインチューニングは384 GPU時間)で達成した。これらの改善は統計的に有意(p<0.01)であり、ロボット操作成功率はLoRA(RGB)ベースライン比で12.0%絶対改善した。

Key Facts

本紙の見方

今回の発表は、ロボット視覚分野における基盤モデル活用の新たな方向性を示すものだ。SAMなどの基盤モデルはゼロショット性能を持つが、ロボットの非構造環境では性能が低下することが知られている。RepSAMは、その性能低下の原因を層ごとの表現シフトの不均一性に求め、浅い層のドメインギャップが大きいことをCKA指標で定量化した。この観察に基づき、CKAガイドのランク割当を導入することで、パラメータ効率的な適応を実現した点が新規性である。既存のPEFT手法(LoRAやDoRA)は全層に均一なランクを割り当てることが多く、層ごとの転移可能性の差を考慮していない。RepSAMはこの点を理論的に裏付け、実験で優位性を示した。 本紙の過去報道との接続は、関連記事が提供されていないため直接の言及はできないが、ロボット視覚と基盤モデルの融合は近年のトレンドであり、RepSAMはその中でパラメータ効率と性能の両立を追求する一環と位置づけられる。 業界構造への含意としては、ロボットの知覚システム開発において、大規模な基盤モデルをそのまま使うのではなく、タスク特化の適応が重要になることを示唆する。RepSAMの158倍のパラメータ削減は、エッジデバイスや組み込み環境での展開を容易にし、ロボットメーカーやAIベンダーにとってコスト削減につながる可能性がある。また、学習時間の96倍削減(384時間→4時間)は、開発サイクルの短縮に寄与し、反復的な実験を可能にする。 未確定の論点としては、RepSAMの実ロボットへの適用範囲が限定的であることだ。論文では6つのベンチマークとロボット操作タスクで評価されているが、実際の産業用ロボットや多様な環境での汎用性は不明である。また、CKAガイドのランク割当の理論的保証がどの程度一般性を持つか、他の基盤モデル(ViTやCLIPなど)への適用可能性も検証が必要だ。さらに、マルチモーダル融合モジュールの設計がどのようなセンサー構成を前提としているか、カメラ以外のセンサー(深度や触覚)への拡張性も焦点になる。

なぜ重要か

RepSAMは、ロボット視覚における基盤モデルの実用化を加速する可能性がある。パラメータと学習時間の大幅な削減は、リソース制約のあるロボットシステムへの導入障壁を下げ、より迅速な開発と展開を可能にする。また、層ごとの転移可能性に基づく適応戦略は、他のドメイン適応タスクにも応用できる知見を提供する。