PV-WM: 歩行者と車両の連成ロールアウトのための異種マイクロ・マクロ世界モデル

PV-WMは、歩行者と車両が混在する局所的な交通シーンにおける将来予測を行う、heterogeneousなmicro-macro world modelである。履歴のみを入力とし、歩行者のroot motionと15関節のarticulation、および車両のkinematic stateを同期した状態表現としてrecurrentに更新する。車両はrigid bodyとして扱い、予測されたcenterとheading、観測されたextentからbounding boxを再構成する。歩行者と車両の将来状態を統一的に生成する点が特徴。

既存のroad-agent forecastersは歩行者のarticulationを省略し、pose forecastersは車両の将来を学習対象に含めない。PV-WMは、歩行者のarticulated motionと車両のrigid-body dynamicsを単一のrecurrent world model内で同時に扱う点が新しい。また、one-shotのcomplete-state predictorと比較して、recurrentな実行により予測精度が向上することを示した。

PV-WMは、structured post-perception tracksを入力とし、recurrentな状態更新を行う。状態は歩行者のroot motion、15関節のarticulation、学習された車両状態を含むheterogeneous stateとして構成される。各transitionで、生成された歩行者と車両のchunkが次のrecurrent boundaryに供給される。車両のbounding boxは予測されたcenterとheading、観測されたextentから再構成され、P-V geometryは各transition後に再計算される。

Waymoデータセットの824のaligned contexts（うち797が有効な将来の車両サポートを持つ）を用いて評価した。比較対象は、validationで選択されたModular Specialistと、matchedなone-shot complete-state predictor。その結果、recurrent実行によりRoot ADEが12.7%、MPJPEが14.8%削減された。また、Modular Specialistと比較して、Root ADE 5.2%、MPJPE 7.6%、P-V distance error 11.9%、oriented-box closest-approach error 5.8%の削減を達成。さらに、パラメータ数57.1%減、平均FLOPs 96.5%減、p95レイテンシ25.5%減を報告。

要旨からは、feedback interventionsにより、後の予測が生成されたarticulationの内容、時間的順序、歩行者のidentityに依存することが示唆される。しかし、具体的な議論や限界については要旨からは不明。

要旨で参照されている関連研究として、road-agent forecasters、pose forecasters、Modular Specialist、one-shot complete-state predictorが挙げられる。具体的な論文名は不明だが、これらの分野の代表的な研究を読むことが推奨される。