関係性に基づく潜在ワールドモデルによる自動運転

自動運転向けの latent world model において、traffic scene graph を privileged semantic supervision として用い、visual latent representation を関係構造と整合させる手法。推論時には supervision branch を除去し、scene graph や 3D annotation を必要とせず、test-time computation も増やさない。

- 従来の latent world model は予測表現を学習するが、保持する relational semantics が暗黙的だった。 - 本研究は traffic scene graph を明示的な意味監督として使う点が新しい。 - 再学習した LAW baseline に対し、nuScenes で平均 trajectory L2 error を 0.661 から 0.622（5.9% 減）、collision rate を 0.456 から 0.217（52.4% 減）に改善。 - unstructured caption-style semantic target よりも優れ、明示的な関係構造の利点を支持。

- LAW を基盤とする。 - nuScenes の 3D annotations から actor-centric scene graphs を構築。 - その serialized relational structure を frozen text embedding model でエンコード。 - 訓練中に visual latent representations をこの semantic target に align。 - 推論時は supervision branch を除去し、scene graph や 3D annotation を不要にし、test-time computation を増やさない。

- nuScenes で評価。 - 再学習した LAW baseline と比較し、平均 trajectory L2 error が 0.661 から 0.622（5.9% 減）、collision rate が 0.456 から 0.217（52.4% 減）。 - unstructured caption-style semantic target との比較も行い、それを上回ることを確認。

- 明示的な relational structure が latent world-model representation learning に有益であることを支持。 - ただし、要旨からは scene graph 構築の詳細、frozen text embedding model の種類、align 損失の設計、他のデータセットへの汎化、計算コストの詳細などは不明。

- LAW（本研究の基盤） - nuScenes（データセット） - caption-style semantic target を用いる関連研究 - scene graph を活用した自動運転の表現学習研究