何が起きたか
2026年6月28日にarXivに公開された論文「Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs」が、ロボットのリアルタイム制御を妨げる視覚トークンの多さによる推論遅延を解決するため、プラグアンドプレイで学習不要のフレームワーク「ST-Merge」を提案した。同フレームワークは、視覚エンコード段階で冗長なトークンを融合し、Qwen2.5-VLで2倍の推論高速化、π0.5 VLAで8.3倍の高速化を達成したとしている。
詳細
ST-Mergeは、3次元の時空間座標を明示的に構築し、マルチキュー並列マッチングと重み付き集約メカニズムを用いて、フレーム間の冗長トークンを効率的かつ幾何学的に一貫した形で融合する。さらに、融合後の位置補正メカニズムを導入し、重み付き重心の回転位置コードを動的に再評価することで、融合による空間的ずれを解消し、巧みな操作に必要な高精度な空間認識を確保する。実験では、Qwen2.5-VLのVideo Question Answeringタスクで2倍の推論高速化とわずか1%の精度低下を達成し、π0.5 VLAポリシーでは1024×1024解像度で8.3倍の高速化とベースラインと同等の成功率を達成した。低解像度では精度がわずかに低下する。
Key Facts
| ST-Mergeは、視覚エンコード段階で冗長なトークンを融合するプラグアンドプレイで学習不要のフレームワークである。 | [1] |
| Qwen2.5-VLのVideo Question Answeringタスクで、ST-Mergeは2倍の推論高速化と1%の精度低下を達成した。 | [1] |
| π0.5 VLAポリシーにデプロイした場合、ST-Mergeは1024×1024解像度で8.3倍の高速化を達成し、ベースラインと同等の成功率を維持した。 | [1] |
| 低解像度では、ST-Mergeは精度のわずかな低下を引き起こす。 | [1] |
| ST-Mergeは、融合による空間的ずれを解消するための後融合位置補正メカニズムを導入している。 | [1] |
本紙の見方
今回の論文は、ロボット向けVLM/VLAの実用化における重大なボトルネックである推論遅延に焦点を当てた点で新規性がある。従来の手法はモデル自体の軽量化や蒸留などが中心だったが、ST-Mergeは視覚エンコード段階でのトークン融合という、より根本的なアプローチを取る。学習不要でプラグアンドプレイである点は、既存のモデルにそのまま適用できる実用性の高さを示しており、ロボットのリアルタイム制御への応用が期待される。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、ロボット基盤モデルの進展を追う文脈では、推論速度の改善は常に重要なテーマであり、今回の成果はその流れを加速させるものと位置づけられる。 業界構造への含意としては、ST-Mergeのような手法が普及すれば、ロボットメーカーは高価な専用ハードウェアに依存せずに、既存のモデルを高速化できる可能性がある。これは、エッジデバイスでのVLAの展開を促進し、ロボットの応用範囲を広げることに寄与するだろう。一方で、トークン融合による精度への影響は、特に低解像度での精度低下が指摘されており、タスクによっては許容できない場合もある。 未確定の論点としては、ST-Mergeが実際のロボット制御タスクでどの程度の効果を発揮するか、また、他のVLM/VLAモデルへの汎用性がどの程度あるかが挙げられる。論文ではQwen2.5-VLとπ0.5での結果のみが示されており、他のモデルでの検証が必要である。さらに、融合による空間的精度の維持が、実際の操作タスクでどの程度重要かも検証が求められる。
なぜ重要か
ロボットのリアルタイム制御は、VLM/VLAの推論遅延によって制約されてきたが、ST-Mergeは学習不要で大幅な高速化を実現する可能性を示した。これにより、ロボットの応用範囲が広がり、より複雑なタスクへの展開が期待される。ただし、精度とのトレードオフや汎用性の検証が今後の焦点となる。