LiDAR言語モデルは時空間関係を本当に理解しているのか？

- 4D LiDAR language model の時空間推論を診断するベンチマーク LiDAR-Hallu を提案。 - 150 の nuScenes scene から 10,000 問を収録。 - 対象は object existence、ego-relative position、distance ordering、relative motion、temporal localization。 - 物体選択・時間比較・参照解決定の明示ルールを備える。 - 固定回答制御と候補内容制御、同一 prompt で逆参照解の cross-scene pair、relation-specific recall を組み合わせる。

- 従来の 4D LiDAR language model 評価は集約 accuracy に依存しがち。 - 本評価では常に同じ選択肢を選ぶだけで B4DL 由来 2 構成の multiple-choice accuracy にほぼ匹敵。 - 集約 accuracy では隠れる失敗を 100,000 応答の分析で可視化。 - 単一回答精度ではなく、問われた物理関係を区別できるかを測る必要性を示す。

- LiDAR-Hallu は geometry-referenced benchmark と diagnostic protocol を提供。 - 固定回答制御と candidate-content 制御を併用。 - 同一 prompt で逆の参照解を持つ cross-scene pair を用意。 - relation-specific recall で関係ごとの性能を評価。 - temporal-shuffle contrastive decoding も検討。

- 100,000 応答を記録し分析。 - candidate duration だけで LiDAR を見ずに temporal 回答が予測可能と判明。 - paired question では逆の参照解が必要な scene に同じ回答をする頻度が高い。 - 両構成とも全条件で positive lateral-motion case を全て外す。 - temporal-shuffle contrastive decoding は修復と新規誤りが相殺し、主要失敗が残る。

- 集約 accuracy だけでは時空間推論の評価として不十分。 - モデルが問われた物理関係を区別しているかを検証すべき。 - candidate duration の影響など、LiDAR を観測せずに解ける手がかりが問題。 - temporal-shuffle contrastive decoding の有効性は限定的。 - 失敗の根本原因や改善策は要旨からは不明。

- B4DL 由来の構成。 - nuScenes。 - temporal-shuffle contrastive decoding。 - 4D LiDAR language model の関連研究。 - 同分野の定番として LiDAR-language model 評価や spatio-temporal reasoning benchmark。