Towards the Harness of Embodied Agents

本論文は、物理世界で動作する具現化エージェント（embodied agent）のためのハーネス（harness）であるTheaを提案している。Theaは、エージェントのループがロボットの各能力を呼び出し可能なツールとしてラップし、コーディングエージェントの主要コンポーネントを物理世界の要求に合わせて修正したものである。特に、ソフトウェアでは無料で得られる「世界の状態の読み取り」と「行動結果の判断」という2つの能力を、Scene Graph as Context（永続的で象徴的な世界表現）とEvaluation as Exit Codes（行動の終了判定、成功判定、失敗原因の診断）によって補完し、エージェントと物理世界の間のループを閉じる。これにより、ツールの合成から豊かな行動が創発し、閉ループが実環境での長期的タスクを完了に導く。

先行研究では、コーディングエージェントの成功がハーネス（インフラ）に依存することが示されているが、具現化エージェントへの適用は未検討だった。本論文は、このパラダイムを物理世界に拡張した点が新しい。また、物理世界ではソフトウェアと異なり、世界状態の読み取りと行動結果の判断が容易でないという課題に対し、Scene Graph as ContextとEvaluation as Exit Codesという具体的な仕組みを導入し、これらのギャップを埋めた点が優れている。

Theaの技術的な肝は、エージェントのループがロボットの能力をツールとしてラップし、コーディングエージェントのコンポーネントを物理世界向けに修正することにある。具体的には、Scene Graph as Contextが永続的で象徴的な世界表現を提供し、Evaluation as Exit Codesが行動の終了判定、成功判定、失敗原因の診断を行う。これらにより、エージェントと物理世界の間のフィードバックループが閉じられ、ツールの合成から複雑な行動が創発する。

要旨からは、実環境での長期的タスクを完了に導くことが示されていると述べられているが、具体的な検証方法（実験設定、比較ベースライン、評価指標など）は要旨からは不明である。

要旨からは、物理世界がソフトウェアと異なり、世界状態の読み取りと行動結果の判断が難しいという課題を挙げているが、その解決策の限界や、他の課題（例えば、安全性、スケーラビリティ、一般化）については議論されていない。また、Theaの適用範囲や、コーディングエージェントとの比較における優位性の詳細も要旨からは不明である。

要旨で参照されているのは、コーディングエージェントのハーネスに関する研究（具体的な論文名は不明）と、具現化エージェントの一般的な研究である。次に読むべき論文としては、コーディングエージェントのハーネスに関する代表的な研究（例えば、CodeActやOpenHandsなど）や、具現化エージェントの基盤モデル（例えば、RT-2やPaLM-E）が考えられるが、要旨からは特定の論文名は挙げられていない。