日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
身体性エージェントarXiv:2610.30043

TARSphere:進化する物理・社会環境下での長期的身体性エージェント向けロボット指向フルスタックフレームワーク

TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

シェア:XThreadsFacebookLINEはてブBluesky

物理シミュレータとNPC対話を備えた環境で、凍結MLLMが階層的スキルと記憶を用いて長期タスクを遂行するフルスタック枠組みと、360エピソードのベンチマークを提案した論文。

詳しい要約

1. どんなもの?

- ロボット向けの full-stack framework「TARSphere」の提案 - 物理的・社会的制約下で長期的(long-horizon)に行動する embodied agents を対象 - 進化する環境・人間のニーズへの適応を評価可能にする - 構成要素 - TARSphere-Infra: physics simulator 上で robot policies を実行、embodied NPCs と制約付き対話を提供 - TARSphere-Harness: frozen MLLM を multi-level executable skills で動作させる embodied brain harness - TARSphere-Bench: 30 indoor scenes・360 episodes のベンチマーク - 5つの paired conditions で知覚頑健性、混乱適応、タスク更新、人間協調、意図理解を評価

2. 先行研究と比べてどこがすごい?

- 既存の embodied-agent システムは指定ゴールに集中、または抽象的な symbolic actions への実行に留まる - そのため evolving world での評価が限定的という課題があった - TARSphere は物理的・社会的に grounded な long-horizon 評価を目指す点が異なる - physics simulator と embodied NPCs、制約付き対話を統合 - event-driven FSM で完了行動と伝達情報からタスク状態を更新・結果評価 - agent-in-the-loop curation でタスク意味論・因果依存・scene geometry を整合 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- TARSphere-Infra - physics simulator 上で robot policies を実行 - embodied NPCs と constrained dialogue を提供 - event-driven finite-state machine (FSM) が完了行動・伝達情報でタスク状態を更新し結果を評価 - TARSphere-Harness - frozen multimodal large language model (MLLM) を multi-level executable skills 経由で動作 - observations、hierarchical memory、execution feedback を用いて意思決定を修正 - TARSphere-Bench 構築 - agent-in-the-loop curation でタスク意味論・因果依存・scene geometry を整合 - 30 indoor scenes、360 episodes - 5つの paired conditions で評価

4. どうやって有効だと検証した?

- TARSphere-Bench 上で 8 つの MLLM を評価 - 結果、general-purpose models が embodied models を上回る場合がある - task updates と human interaction は依然として困難 - 5つの paired conditions で評価 - perceptual robustness、disruption adaptation、task update、human coordination、intent understanding - 対象タスクは navigate-and-report と fetch-and-deliver - 衝突や転倒が頻発し、shared action interface と decision budget の下でも execution safety を task success と併せて評価する必要性を示唆

5. 議論はある?

- general-purpose models が embodied models を上回るという知見 - embodied 特化モデルの優位性が自明でない可能性 - task updates と human interaction が依然難しい - 長期的・社会的文脈での適応に課題 - 衝突・転倒の頻発 - task success だけでなく execution safety の評価が必要 - shared action interface と decision budget を揃えても生じる - 具体的な限界や今後の拡張方針は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究名は記載なし - 関連手法として以下が挙げられる - embodied-agent systems(symbolic actions への抽象化を行う既存手法) - multimodal large language model (MLLM) を用いた embodied brain - physics simulator 上の robot policy 評価 - event-driven finite-state machine (FSM) によるタスク状態管理 - 同分野の定番として embodied AI benchmarks(例: AI2-THOR 系、Habitat 系)や long-horizon task planning 研究を次に読む候補として検討

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yicheng Xu, Zhikai Xu, Ziyuan Chen, Yuhang Dong, Tao Zhang, Zhucun Xue, Yong Liu, Jiangning Zhang

分類: cs.RO

原文アブストラクト

Robots must act under physical and social constraints while adapting to changes in their environment and human needs. Existing embodied-agent systems often focus on specified goals or abstract execution into symbolic actions, limiting evaluation in an evolving world. We introduce TARSphere, a robot-oriented full-stack framework for physically and socially grounded long-horizon embodied agents. TARSphere-Infra runs robot policies in a physics simulator with embodied NPCs and constrained dialogue. An event-driven finite-state machine (FSM) uses completed actions and delivered information to update task states and evaluate outcomes. TARSphere-Harness, its embodied brain harness, lets a frozen multimodal large language model (MLLM) act through multi-level executable skills, using observations, hierarchical memory, and execution feedback to revise its decisions. On this foundation, agent-in-the-loop curation aligns task semantics, causal dependencies, and scene geometry to construct TARSphere-Bench: 360 episodes across 30 indoor scenes. Five paired conditions assess perceptual robustness, disruption adaptation, task update, human coordination, and intent understanding for navigate-and-report and fetch-and-deliver tasks. Our evaluation of 8 MLLMs shows that general-purpose models can outperform embodied models, while task updates and human interaction remain difficult. Frequent collisions and falls further motivate evaluating execution safety alongside task success, even with a shared action interface and decision budget.

関連論文

PR本紙発行元 EmplifAI