XR/エージェント評価2026/10/21arXiv:2610.29014

GenXR-Bench：XR開発向けコーディングエージェントのベンチマーク

GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development

XRアプリ開発におけるコーディングエージェントの能力を評価する初のベンチマークで、112タスクを用意し10モデルを評価した結果、最高でもPass@1が50.9%にとどまった。

詳しい要約

1. どんなもの？

- XRアプリ開発におけるcoding agentsの能力を評価する初のbenchmark - GenXR-Benchは112のexpert-authoredタスクで構成 - 24のfeature implementations - 21のbug repairs - 67のapplication generationタスク - held-out testsはscripted/adaptive interactionsとprogrammatic/visual assertionsを組み合わせ、core functionalityとruntime behaviorを評価 - consumer XR hardware上で実行される

2. 先行研究と比べてどこがすごい？

- 従来のcoding agents評価はsingle-file generationからrepository-scale engineeringへ進展中だが、interactive XR application authoringの評価は未解決の課題 - 従来のsoftwareと異なりXRは動的な3D物理環境で動作し、continuous user motion・spatial input・environmental sensingに依存 - GenXR-Benchはこうしたinteractiveかつphysically situatedな条件を再現可能に評価する初のtestbed - 具体的な先行benchmark名は要旨からは不明

3. 技術・手法の肝は？

- 112のexpert-authoredタスクをfeature implementations・bug repairs・application generationの3種に分類 - held-out testsでscripted interactionsとadaptive interactionsを組み合わせる - programmatic assertionsとvisual assertionsの両方でcore functionalityとruntime behaviorを検証 - consumer XR hardware上で実行し、blinded expert judgmentsと比較してtest suiteの妥当性を確認

4. どうやって有効だと検証した？

- GenXR-Benchのtesting suiteは、consumer XR hardware上で実行した124のcandidate applicationsに対するblinded expert judgmentsと比較し96.5%のaccuracyを達成 - 10モデルをGenXR-Benchで評価し、最強構成でもoverall Pass@1は50.9%にとどまることを確認 - failure analysisにより、asynchronous sensor lifecycles・physical grounding・embodied interaction semanticsに関する再発的な誤解を特定

5. 議論はある？

- 最強モデルでもPass@1が50.9%と低く、XR開発におけるcoding agentsの限界を示す - 失敗パターンとしてasynchronous sensor lifecycles、physical grounding、embodied interaction semanticsの誤解が繰り返し観察される - これらの知見はspatial computing特有の課題を浮き彫りにする - 具体的な議論や限界の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として、repository-scale engineering向けcoding agentsのbenchmark（例: SWE-bench系）や、XR/spatial computingのinteraction testingに関する研究を次に読む候補として挙げる - asynchronous sensor lifecyclesやphysical groundingを扱うembodied AI研究も関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: William Huang, David Li, Xiang 'Anthony' Chen, Xun Qian, Nels Numan, Zhongyi Zhou, Hyunsung Cho, Salman Muin Kayser Chishti, Ding Xia, Xincheng Huang, Jiahao Ren, Faraz Faruqi, Tianyu Xu, Yang Zhang, David Kim, Ruofei Du

分類: cs.AI, cs.GR, cs.HC

原文アブストラクト

Coding agents are rapidly advancing from single-file generation to long-horizon repository-scale engineering, yet the evaluation of their capabilities to author interactive extended reality (XR) applications remains an open challenge. Unlike traditional software, XR applications operate within dynamic 3D physical environments where runtime robustness depends jointly on continuous user motion, spatial input, and environmental sensing. We introduce GenXR-Bench, the first benchmark for the end-to-end evaluation of coding agents in XR software development. GenXR-Bench contains 112 expert-authored tasks spanning 24 feature implementations, 21 bug repairs, and 67 application generation tasks. Held-out tests combine scripted and adaptive interactions with programmatic and visual assertions to evaluate core functionality and runtime behavior. GenXR-Bench's testing suite achieves 96.5% accuracy against blinded expert judgments of 124 candidate applications executed on consumer XR hardware. Evaluating 10 models on GenXR-Bench, we find that the strongest configuration achieves only 50.9% overall Pass@1. Failure analysis identifies recurring misunderstandings in asynchronous sensor lifecycles, physical grounding, and embodied interaction semantics. GenXR-Bench establishes a reproducible testbed for evaluating coding agents in the interactive and physically situated conditions of spatial computing.

arXivで原文を読む →arXiv概要ページ

← 論文一覧