空陸協調物体探索に向けて：ベンチマーク、データセット、エージェント手法

本論文は、都市環境におけるAir-Ground Object Search (AGOS)タスクを扱う。これは、UAVとUGVが協力して、マルチビューの視覚参照から指定されたターゲット車両を探索・検証するembodiedタスクである。著者らは、この未開拓の問題を研究するために、AGOS-Bench（汎用VLMがUAV-UGV協力を通じて空中発見と地上検証を統合できるかを評価する初の専用ベンチマーク）、AGOS-Dataset（自動パイプラインで構築された模範的な軌跡を含む、7.7kエピソード、多様なカテゴリと属性のオブジェクト、3つの難易度レベル）、およびAGOS-Agent（トレーニング不要でツール拡張されたエージェント手法）を導入する。AGOS-Agentは、複雑で動的な調整をVLMから解放し、探索・引き渡し・検証の協調プロトコルを採用し、VLMはシーン理解と意思決定のみを担当する。

先行研究では、空中または地上の単一エージェントによるオブジェクト探索が主に扱われてきたが、UAVとUGVの協調によるマルチビュー視覚参照からのターゲット検証を含むAGOSタスクは未開拓であった。本論文は、このタスクのための最初の専用ベンチマークとデータセットを提供する点で新規性が高い。また、AGOS-Agentはトレーニング不要でツール拡張された手法であり、VLMの複雑な協調制御を軽減するプロトコルを導入している点で、既存のエージェント手法とは異なる。

AGOS-Agentは、探索（search）、引き渡し（handoff）、検証（verify）の3段階からなる協調プロトコルを採用する。VLMは各段階でシーン理解と意思決定（例：次の探索方向の決定、ターゲット候補の特定）を行い、ツール（例：マップAPI、画像キャプション）を使用して情報を取得する。このプロトコルにより、VLMはUAVとUGVの動的な位置調整やタスク割り当てを直接管理する必要がなくなり、複雑な協調を簡素化する。具体的な実装詳細は要旨からは不明だが、トレーニング不要で、既存のVLMをバックボーンとして利用する。

9つのVLM（例：Gemini-3.6-Flash）を用いてAGOS-Bench上で実験を行った。AGOS-Agentは、9つのバックボーンのうち8つで成功率（SR）を向上させ、9つすべてで意思決定ステップ数を削減した。特に、ハード分割では、Gemini-3.6-FlashのSRが8.6%から55.7%に、SPLが7.6%から44.0%に向上した。

要旨からは、AGOS-Agentの限界や潜在的な問題についての議論は不明である。ただし、トレーニング不要の手法であるため、VLMの性能に依存する可能性が考えられる。また、ベンチマークはシミュレーション環境に基づく可能性が高く、実世界での適用にはギャップがあるかもしれない。これらの点は要旨からは断定できない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、VLMを用いたembodied AIエージェント（例：Voyager, Ghost in the Minecraft）、マルチエージェント協調探索、UAV-UGV協調システムに関する論文が挙げられる。具体的には、VLMをロボット制御に応用した研究や、オブジェクト探索のためのベンチマーク（例：Habitat ObjectNav）が関連する。