MC-EvoBench：Minecraftエージェントにおける経験駆動型自己改善の監査

Minecraft を舞台にした embodied agent の経験駆動型自己改善を評価するための制御ベンチマーク MC-EvoBench を構築した研究。 - 19 本の登録済み evolution chain（12 本の主要評価 chain と 7 本の calibration/probe chain）を固定カタログとして用意。 - 転移評価用に graph-aligned な 3 つの paired probe family を用意。 - 各タスクを task-state graph として表現し、stage-level の environment verifier を定義。 - source と target の役割を対応付け、target world をリセットし、宣言された agent artifact のみを source-target 境界を越えて持ち込める。 - 評価指標として TSR、WGP、VMP を報告し、provenance record を保持する。

従来の embodied recursive self-improvement 評価では、保存された memory や最終行動の成功だけでは再利用可能な capability を獲得したことにならない点が問題とされる。 - 本ベンチマークは capability change を、持ち越された resource、source exposure の不均等、早期実行失敗から分離して評価する点を狙う。 - 固定された evolution chain カタログ、stage-level verifier、matched source/target 役割、target world reset、境界を越える artifact の制限により、制御された比較を可能にする。 - 要旨からは、既存の個別手法との直接比較結果は不明。

MC-EvoBench の肝は、経験の転移を制御された形で測るためのベンチマーク設計にある。 - 各タスクを task-state graph として表現し、stage-level の environment verifier を定義。 - source と target の役割を matched に割り当て、target world を reset。 - source-target 境界を越えられるのは宣言された agent artifact のみ。 - 各 probe について no-prior、related、unrelated、shuffled の source 条件を、matched な environment-step budget と 5 seed で評価。 - 指標は TSR、WGP、VMP で、provenance record を保持。

MC-EvoBench 自体を用いた評価により、以下の知見が得られたと報告している。 - controller と planner-backed variant の間に一貫した direct-capability gap が見られた。 - related experience は安定した転移を示さず、2 つの tool probe を改善せず、wood-species の小さな gain は 1 seed に依存し、すべての interval が 0 を含んだ。 - stage audit により、早期の wood-collection と crafting の bottleneck が later capability を未観測のまま残すことが多いと示された。 - ただし個々の手法の有効性を比較した検証かは要旨からは不明。

要旨では、保存された memory や最終行動の成功だけでは再利用可能な capability の獲得を確立できないと議論している。 - 評価は capability change を、持ち越された resource、source exposure の不均等、早期実行失敗から分離する必要がある。 - 実験では related experience の安定した転移は見られず、早期 bottleneck が later capability を未観測にする問題が指摘されている。 - その他の限界や議論は要旨からは不明。

要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、Minecraft を舞台にした embodied agent、recursive self-improvement、experience transfer、memory-based agent、planner-backed agent などが挙げられる。 - 具体的な次読論文は要旨からは不明。