DriveTok、3D運転シーンのトークン化手法を提案 マルチビュー再構成と理解を統合

何が起きたか

2026年3月19日、arXivに投稿された論文で、自動運転シーン向けの3Dトークナイザー「DriveTok」が提案された。DriveTokは、視覚基盤モデルから得た特徴を3D変形可能クロスアテンションでシーントークンに変換し、マルチビュートランスフォーマーでRGB、深度、セマンティクスを再構成する。nuScenesデータセットでの実験で、画像再構成、セマンティックセグメンテーション、深度予測、3D占有予測の各タスクで有効性が示された。

詳細

DriveTokは、視覚基盤モデルから意味的にリッチな視覚特徴を取得し、3D変形可能クロスアテンションを用いてシーントークンに変換する。デコード時には、マルチビュートランスフォーマーでシーントークンからマルチビュー特徴を再構成し、RGB、深度、セマンティクスの再構成を行う複数のヘッドを使用する。さらに、シーントークンに直接3Dヘッドを追加し、3Dセマンティック占有予測を行うことで空間認識を向上させる。複数の学習目的により、DriveTokはセマンティクス、幾何、テクスチャ情報を統合した統一シーントークンを学習する。

Key Facts

本紙の見方

今回のDriveTokは、自動運転システムにおける視覚言語行動モデルや世界モデルの普及を背景に、スケーラブルな画像トークン化の重要性が増す中で提案された。既存のトークナイザーが単眼・2Dシーン向けであるのに対し、DriveTokは3Dシーントークンを導入し、マルチビュー再構成と理解を統合する点が新しい。これは、自動運転の認識タスクにおいて、ビュー間の一貫性を保ちながら効率的な表現を学習する試みと位置づけられる。 本紙の過去報道との接続は、関連記事が提供されていないため、直接の言及は避ける。しかし、自動運転分野では、視覚言語行動モデルや世界モデルの研究が活発化しており、DriveTokはその基盤となるトークン化技術の進展を示すものと言える。 業界構造への含意としては、トークン化技術の効率化が、自動運転システムの認識パイプライン全体の性能向上に寄与する可能性がある。特に、マルチビューカメラを搭載した車両において、ビュー間の一貫性を保つことは、物体検出や深度推定の精度向上につながると考えられる。また、3D占有予測を直接行うことで、空間認識の強化が図られており、これは自動運転の安全性向上に寄与する可能性がある。 未確定の論点としては、DriveTokの実運用における計算コストや、他のデータセットでの汎用性が挙げられる。また、トークン化の品質が下流タスクに与える影響について、さらなる検証が必要とみられる。

なぜ重要か

DriveTokは、自動運転におけるマルチビューシーンの効率的な表現学習を可能にする可能性があり、視覚言語行動モデルや世界モデルの発展を支える基盤技術として注目される。今後の自動運転システムの認識性能向上に寄与する可能性がある。