ExploreAI: ブラックボックスVR・3Dアプリケーションの再現可能な観測回帰テストのためのエージェント型探索知識ベース

ExploreAIは、ブラックボックスVR/3Dアプリケーションの回帰テストを支援するLLM駆動のエージェント型フレームワークである。探索中にLLMが人間のテスターの高レベルな意思決定（タスク解釈、検査対象の選択、関連オブジェクトのグループ化、観察記録、欠落証拠の再試行判断）を行い、知覚・ナビゲーション・多視点キャプチャ実行・ロギングは専門モジュールに委譲する。探索の結果として、オブジェクトごとの構造化レコードであるExploration Knowledge Base (EKB)を構築する。EKBは、スキャン証拠、選択ターゲット、ナビゲーションパス、多視点キャプチャ、自己検証結果を格納し、バージョン間の再現可能な観測回帰チェックを可能にする再利用可能なテスト成果物である。

従来の手動探索的テストは失敗を発見できるが証拠の再現に時間がかかり、系統的スイープは再現可能だが意味的ガイダンスがなく探索予算を低価値な視点に費やす。ExploreAIはLLMを活用して人間の探索判断を自動化し、意味的計画と再現可能な証拠記録を両立する点が新しい。EKBは探索実行の構造化記録を提供し、回帰テストの再現性を向上させる。

手法の核心は、LLMを計画・証拠記録・キャプチャポリシー決定・検証決定に使用し、知覚・ナビゲーション・多視点キャプチャ実行・ロギングを専門モジュールにオフロードするエージェント設計である。EKBはオブジェクトごとにスキャン証拠、選択ターゲット、ナビゲーションパス、多視点キャプチャ、自己検証結果を構造化して保存する。これにより、探索の意味的ガイダンスと再現可能な証拠を両立する。

Unity、AI2-THOR、BeamNGの6つの屋内・屋外シーンで、完全探索とターゲット探索の両方で高完全性のEKBを構築できることを検証した。また、LLMモジュールのアブレーション実験により、意味的計画、キャプチャポリシー、証拠記録、自己検証の各貢献を評価した。さらに、再現パイロット実験で、EKBガイド付きトレースが人間とLLMベースの再現者に対して、EKBコンテキストなしの条件よりも正確なオブジェクトビュー証拠の再現を可能にすることを示した。

要旨からは、EKBの構築コストやスケーラビリティ、LLMの誤判断の影響、異なるアプリケーションへの一般化可能性、EKBの保守性などについての議論は不明である。また、探索の完全性の定義や、EKBが回帰テストの失敗検出にどの程度有効かについての詳細な分析も要旨には含まれていない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、LLMを用いたエージェント型テスト自動化、VR/3Dアプリケーションの探索的テスト、回帰テストの自動化、Knowledge Base構築に関する論文が考えられる。具体的には、LLM-based agents for testing、exploratory testing in VR、regression testing for 3D applicationsなどのキーワードで検索される研究が該当する。