MaRiO: 共有観測によるマルチエージェント協調推論ベンチマーク

- MaRiO は、複数エージェントが同一環境を独立視点から観察する multi-agent collaborative reasoning を評価する benchmark。 - 各エージェントの独立した観察をまたいだ推論を要する設定を対象とする。 - 23 の state-of-the-art MLLMs を評価。 - コードはプロジェクトページで公開。

- 既存の MLLMs 評価は single-view や共有 camera parameters の multi-view 設定が中心。 - 独立視点の複数エージェントによる協調推論という未開拓の課題を切り出した点が新しい。 - 23 モデルの比較により、この設定での限界を体系的に示す。

- 共有環境を独立視点から観察する複数エージェントの協調推論 benchmark を設計。 - 静的知覚で解けるタスクと transformational event sequences を要するタスクを含む。 - 初期対策として geometry-guided synthetic view augmentation を検討。 - エージェント観察間の中間 transition frames を生成し、補助的な spatial context を与える。

- MaRiO benchmark 上で 23 の state-of-the-art MLLMs を評価。 - 主な知見: - 静的知覚主体のタスクは transformational event sequences を要するタスクより一般に易しい。 - 多くのモデルは cross-agent correspondences の解決に苦戦し、scene complexity とともに誤りが増える。 - モデルは scene 内の geometric cues の活用が限定的。 - geometry-guided synthetic view augmentation が一部カテゴリで性能を改善。

- multi-agent collaborative reasoning は未解決の課題であり、multimodal embodied systems の重要方向と位置づけ。 - cross-agent correspondences や geometric cues の利用が現行 MLLMs の弱点として議論される。 - synthetic view augmentation は一部カテゴリでの改善に留まり、万能な解決策ではない。 - 具体的な限界や失敗要因の詳細は要旨からは不明。

- MaRiO benchmark 自体(プロジェクトページ公開コード)を参照。 - 比較対象として評価された 23 の state-of-the-art MLLMs の代表的手法。 - multi-view / multi-agent 設定の既存 benchmark。 - geometry-guided synthetic view augmentation に関連する view synthesis 手法。