3D世界監査のための効率的マルチモーダルエージェント
Efficient Multimodal Agents for Auditing 3D Worlds
小型VLMの群れが3D世界を探索・不具合誘発し、フロンティアモデルが記録を審査する低コスト高精度な監査システムを構築した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jingbo Yang, Ziyan Jiang, Li An, Jiabao Ji, Yujian Liu, Tommi Jaakkola, Yang Zhang, Shiyu Chang
分類: cs.AI
原文アブストラクト
Multimodal agents can now build interactive 3D worlds and games, yet these worlds, like those built by people, often contain glitches such as floating objects, walls that can be walked through, or objects that change when no one is looking. An automatic auditor could check such worlds at scale and provide rewards for agents that build them, but only if it is both accurate and cheap. Auditing requires three abilities, namely navigating to the objects that may contain a glitch, triggering glitches that appear only after a specific behavior, and recognizing what is wrong. Current auditors are either accurate but slow and expensive or cheap but unreliable. We study how much of the audit small models can take on. A 4B vision language model fine-tuned end to end on verified trajectories of a frontier teacher guided by Bayesian search learns to navigate and trigger, and six such explorers together match a frontier model on both, but recognition stays far behind. We therefore build an auditor in which a swarm of small explorers navigates and triggers, and a frontier model reviews what they record and report. On WorldAuditBench, our auditor succeeds on 55.9% of 213 tasks in Unreal Engine 5 and Three.js worlds, 13.6 points above the strongest auditor reported, at less than a quarter of its cost. It matches the frontier reviewer exploring on its own at 4.6 times lower cost and about half the latency. Without further training, it also answers embodied questions about real-world scans, matching the frontier reviewer exploring on its own and surpassing four other frontier models by 6.4 to 16.6 points.
関連論文
- 視覚をツール化:マルチモーダルエージェントコーディングのための視覚ハーネスマルチモーダルエージェント
- 自己進化型マルチモーダルエージェントのシナリオ横断サーベイと分析マルチモーダルエージェント
- トリニティ:マルチモーダルエージェントの能力駆動型再帰的自己改善マルチモーダルエージェント
- マルチモーダルエージェントのためのタスク焦点型記憶マルチモーダルエージェント
- Automotive-ENV:車載インターフェースシステムにおけるマルチモーダルエージェントのベンチマークマルチモーダルエージェント
- droidlet:モジュール式ヘテロジニアス・マルチモーダルエージェント基盤マルチモーダルエージェント
