360CityArena: 具身エージェントのための現実的な仮想都市ナビゲーションベンチマーク

360CityArenaは、360度ビデオから構築されたフォトリアリスティックな都市環境において、身体化エージェントの都市探索能力を評価するためのベンチマークである。東京・秋葉原地区を602本の360度ビデオセグメント（85ストリート）で再現し、175の人手によるタスクを含む。タスクはEnvironment Understanding、Path Reasoning、Spatial Reasoningの3カテゴリに分類され、位置特定、ランドマーク探索、経路計画、関係性空間推論など、都市探索に必要な基本能力を評価する。

既存の屋外ベンチマークは、フォトリアリズムまたは複雑さが不足しており、実世界の都市環境とのギャップが大きい。360CityArenaは、実写の360度ビデオを用いた現実的な再構築により、高いフォトリアリズムと複雑な都市構造を提供し、より現実に近い評価を可能にしている点が優れている。

手法の肝は、360度ビデオから構築したフォトリアリスティックな環境と、人手で厳選されたタスク設計にある。タスクは都市探索に必要な能力をカバーする3カテゴリ（環境理解、経路推論、空間推論）に分類され、エージェントの総合的な能力を評価する。また、LMMベースのエージェントを評価に用いることで、最新のモデルの性能を測定する。

最先端のLMMベースのエージェント（例：Gemini 2.5 Flash）を評価し、人間の性能（77.3%）と比較してGemini 2.5 Flashは17.1%と大幅に低いことを示した。これにより、ベンチマークが現実的な都市規模のナビゲーションと推論における課題を明らかにすることを検証した。

要旨からは、ベンチマークの限界や改善点についての議論は不明。ただし、最強モデルでも人間に遠く及ばない結果は、現在のLMMベースのエージェントが都市規模の探索と推論に大きな課題を抱えることを示唆している。

要旨で参照されているLMMベースのエージェント（Gemini 2.5 Flashなど）や、関連する屋外ベンチマーク（例：photorealistic simulationを用いたナビゲーションベンチマーク）が挙げられる。具体的な論文名は要旨にないため、同分野の定番として、HabitatやMatterport3Dなどのシミュレーションベンチマークが関連する。