具現化エージェントのためのタスク状態地平線のコンパイルとベンチマーク

本論文は、長期的な身体的タスクにおけるエージェントの性能を評価するための新しい指標であるtask-state horizon (TSH)を提案し、それを用いたベンチマークRoboGraphを紹介する。TSHは、エージェントが追跡すべきタスク関連の状態遷移の範囲を定義する。RoboGraphは、状態遷移の依存関係を実行可能なシンボリックグラフに変換するロボットタスクコンパイラであり、空間的・時間的な因果依存関係からTSHを構築する。さらに、84シーン、588エピソードからなるベンチマークを提供し、15の先進的なエージェントモデルを評価している。

既存のロボットベンチマークは、アクションシーケンスの長さやサブタスクの複雑さで難易度を特徴づけていたが、エージェントの探索や環境ダイナミクスによって引き起こされるタスク関連の世界状態の追跡という課題を考慮していなかった。本論文は、TSHという新しい指標を導入し、この見落とされていた課題に焦点を当てている点が優れている。また、RoboGraphは、予期しない失敗や介入を含む因果依存関係を扱うことができる点で、従来のベンチマーク生成手法よりも柔軟である。

手法の核は、RoboGraphというタスクコンパイラである。これは、状態遷移の依存関係をシンボリックグラフに変換し、空間的・時間的な因果依存関係からTSHを構築する。具体的には、タスク実行中に発生する予期しない失敗や介入によって誘発される依存関係も含む。これにより、様々なTSHを持つタスクを自動生成できる。ベンチマークは、セマンティックおよびビジュアルのクローズドループ環境で構成され、エージェントは状態を維持・探索・更新する必要がある。

15の先進的なエージェントモデルを、セマンティックおよびビジュアルのクローズドループ環境で評価した。588エピソード、84シーンにわたるベンチマークを使用し、TSHの異なるレベルでの性能を比較した。結果、ほとんどのモデルが高いTSHを要求されるタスクで苦戦し、長期的なタスク関連状態の維持・探索・更新における大きなギャップが明らかになった。

議論としては、高いTSHを持つタスクでエージェントが失敗する原因が、状態追跡能力の不足によるものか、他の要因（例えば、プランニングや知覚の限界）によるものかが明確でない点が挙げられる。また、TSHの定義がタスクの難易度を完全に捉えているかどうか、他の指標との関係についても議論の余地がある。さらに、ベンチマークの環境が現実世界の複雑さを十分に反映しているかという点も考慮すべきである。

要旨からは、次に読むべき具体的な論文は不明であるが、関連する研究として、長期的なロボットタスクのベンチマーク（例えば、ALFRED、VirtualHome）や、状態追跡・メモリ機構を持つエージェントモデル（例えば、Memory-Augmented Transformer）が挙げられる。また、RoboGraphの基盤となるタスクコンパイラやシンボリックグラフの研究も関連する。