HM3D-M3: マルチエージェント・マルチモーダル・マルチオブジェクト目標ナビゲーションのベンチマーク

- HM3D-M3は、Multi-Agent・Multi-Modal・Multi-Object Goal Navigationを1つのepisodeで統合したbenchmark。 - K体のagentがphotorealisticなindoor sceneの分散位置から開始し、M個のobject goalを探索する。 - 各goalはopen-vocabulary category、instance image、instance descriptionのいずれかで指定される。 - 1,000 validation episodes、379カテゴリ・3,926 goals、100K observation-assignment training samplesを提供。 - team-level metricsとしてgoal-level SRとmakespan-normalized SPLを導入。

- 既存benchmarkはmulti-agent、multi-modal、multi-object goal navigationを個別に扱うのみ。 - 3要素を同一episodeに統合したbenchmarkは存在しなかった。 - 本benchmarkはそのgapを埋める初の統合benchmark。 - 加えて2つのbaselineを提案し、既存手法を上回る性能を示す。 - 実機heterogeneous 3-robot teamへのdeployも行う点が先行研究と異なる。

- HiGA: frozenなopen-vocabulary navigation policy上に構築した学習済みhierarchical goal assigner。 - LaViRA-M3: training-freeなVLM agentsのteam。shared mappingとprogress analysisを備える。 - 各agentはopen-vocabulary category、instance image、instance descriptionのいずれかで与えられたgoalを探索。 - team-level metricsとしてgoal-level SRとmakespan-normalized SPLを定義。 - 100K observation-assignment training samplesを提供し、学習を支援。

- 1,000 validation episodes、3,926 goals、379 open-vocabulary categoriesで評価。 - adapted multi-robotおよびzero-shot手法は16--27% SR。 - 提案baselineは38--41% SRを達成し、相補的な強みと異なるfailure modeを示す。 - LaViRA-M3をheterogeneous 3-robot teamにdeployして検証。 - 詳細な実験設定や統計は要旨からは不明。

- 提案baselineは相補的な強みと異なるfailure modeを持つと述べられている。 - 既存手法と提案手法の性能差(16--27% vs 38--41% SR)が議論の焦点。 - 実機3-robot teamへのdeploy可能性が示唆される。 - 具体的なfailure modeの内容や限界、議論の詳細は要旨からは不明。

- HiGA(本論文のbaseline) - LaViRA-M3(本論文のbaseline) - 既存のmulti-agent navigation benchmark - 既存のmulti-modal goal navigation benchmark - 既存のmulti-object goal navigation benchmark - open-vocabulary navigation policy - VLM agents - 要旨で参照/比較されている個別研究は明示されていないため、同分野の関連手法を挙げる。