Lingjing: オープンエンドな都市におけるマルチエージェント具現化タスクのためのシミュレーションテストベッド

Lingjingは、オープンエンドな都市環境における異種マルチエージェント具現化知能のためのシミュレーションプラットフォームである。地理データから進化する都市を再構築・レンダリングし、複数の物理エンジンを同期させ、共有の物理的・構造的都市状態をエージェントに公開する。Gymライクなインターフェースを備え、ユーザー定義のReActエージェントや、単一・複数エージェントの自然言語ミッションをサポートし、スター型またはブロードキャスト通信、リソース制約を設定可能。各エピソードは属性対応可能なリプレイとなり、エージェントの軌跡と通信を関係グラフの変化、リソース消費、エンジンベースの評価にリンクさせ、体系的な診断を可能にする。

既存のプラットフォームは異なる具現化（embodiment）を分離し、タスク設計や評価から切り離している。Lingjingは、異種エージェント（UAV、地上ロボット、自動運転車など）を統合し、タスク設計と評価を統一したテストベッドを提供する点で優れている。また、エピソードのリプレイを通じて失敗の原因追跡（failure provenance）を可能にし、エンジンインザループ評価を共有プロトコルとして提供する点が新しい。

手法の肝は、地理データからの都市再構築、複数物理エンジンの同期、共有状態の公開、Gymライクなインターフェース、ReActエージェントのサポート、自然言語ミッション、通信とリソース制約の設定、そしてエピソードのリプレイを属性対応可能にすることである。これにより、エージェントの行動と通信が関係グラフの変化やリソース消費にどう影響したかを追跡し、エンジンベースの評価と統合できる。

12のvision-language modelsを、9つの都市タスクで、共有のエンジンインザループプロトコルを用いて評価した。さらに、通信、スケーラビリティ、ロバスト性、失敗の原因追跡に関する制御研究を実施した。結果は、接地（grounding）と長期的実行（long-horizon execution）における持続的なボトルネックを明らかにし、タスク依存の協調トレードオフと、容量追加による収穫逓減、より重いワークロードによる成功率低下を示した。

要旨からは、結果が接地と長期的実行のボトルネックを示し、協調のトレードオフや容量追加の効果が限定的であることが議論されている。しかし、具体的な議論の内容（例えば、なぜ接地が難しいのか、どのようなタスクでトレードオフが見られたかなど）は要旨からは不明。また、プラットフォームの限界や将来の改善点についても要旨には明記されていない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、具現化知能のためのシミュレータ（例：Habitat, AI2-THOR, CARLA）や、マルチエージェント強化学習の環境（例：Multi-Agent Particle Environment, SMAC）が挙げられる。また、ReActエージェントの元論文（ReAct: Synergizing Reasoning and Acting in Language Models）も関連する。