日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マルチモーダルエージェントarXiv:2610.36077

トリニティ:マルチモーダルエージェントの能力駆動型再帰的自己改善

The Trinity:Capability-Driven Recursive Self-Improvement for Multimodal Agents

シェア:XThreadsFacebookLINEはてブBluesky

Creator・Explorer・Evolverの3役で世界生成とハーネス進化を連動させ、タスクを能力要件で階層化して再帰的に自己改善するマルチモーダルエージェントフレームワークを提案。

詳しい要約

1. どんなもの?

- マルチモーダルエージェントのための再帰的自己改善フレームワーク「The Trinity」の提案。 - 世界生成とHarness進化を結合し、Creator・Explorer・Evolverの3役割で構成。 - タスクを表層カテゴリではなく共有する能力要件で組織化する点が中心。 - 28の訓練ベンチマークと18の未見ベンチマーク、実世界embodiedタスク2件で評価。

2. 先行研究と比べてどこがすごい?

- 従来はheterogeneousで検証可能な環境構築が高コストで、手動のHarness反復がタスク多様性・複雑性の増大に追従できない点がボトルネックだった。 - 本研究は異なるmodalityやsurface formでも同一のunderlying capability requirementsを共有し得るという洞察に基づく。 - タスク組織をsurface categoriesからshared requirementsへ移すことで、スケーリングのボトルネックに対処する点が先行研究と異なる。 - 具体的な比較対象の先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- Evolverがverified execution trajectoriesを用い、元のtask treeをhierarchical capability treeへ再編成。 - Capability-Driven Real2Sim2Realを導入:同ノードのheterogeneousタスクの共通要件をCreatorが簡略化・検証可能なsimulated worldsへ抽象化し、能力学習に用いる。 - 元タスクでの評価によりtransferを測定。 - Explorerがcapability tree上でselective inheritanceにより再利用可能なcapability modulesを進化的に発展させ、Harness treeを形成。 - 固定トポロジー内で検証済み更新を反復蓄積。 - Capability-Aware Harness Routerが公開タスク情報から互換なmodule構成を選択。

4. どうやって有効だと検証した?

- 28のtraining benchmarksで平均性能が34ポイント向上。 - 18のunseen benchmarksで平均26ポイント向上。 - 実世界embodiedタスク2件を含めて評価。 - verified execution trajectoriesに基づく更新を用いる点が検証の枠組みとして示される。 - 個々のベースラインや統計的検定の詳細は要旨からは不明。

5. 議論はある?

- タスクのsurface categoriesではなくshared capability requirementsで組織化する有効性が示唆される。 - 固定トポロジー内でvalidated updatesを蓄積する設計の限界やスケーラビリティは要旨からは不明。 - Real2Sim2Real抽象化によるsim-to-real transferの一般性や、Routerの選択精度に関する議論は要旨からは不明。 - 実世界embodiedタスクは2件のみで、広範な実環境検証は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別研究は無い。 - 関連手法としてHarness evolution、Real2Sim2Real、capability tree、Capability-Aware Harness Routerに関する研究を挙げる。 - 同分野の定番としてmultimodal agent、embodied agent、sim-to-real transfer、recursive self-improvementの代表的文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weidong Tang, Ruiheng Wang, Jingxuan Zhang, Hexin Wang, Haoyuan Chen, Zhengfeiyang Zhang, Yixing Ma, Zichen Jiang, Ziyu Guo, Haodong Li, Zhengbo Jiao, Zhiqing Cui, Xinxiang Yin, Shuo Liang, Zhenglin Wan, Hongzhan Lin, Wangbo Zhao Kaipeng Zhang, Pengfei Zhou, Odin Zhang, Yang You

分類: cs.AI, cs.CV

原文アブストラクト

Multimodal intelligence can be viewed as human-guided co-evolution between worlds and agents through interaction. However, scaling this process faces two bottlenecks: constructing heterogeneous, verifiable environments is costly, and manual Harness iteration cannot keep pace with growing task diversity and complexity. A key insight is that tasks with different modalities and surface forms can share the same underlying capability requirements. We therefore introduce The Trinity, a recursive self-improvement framework coupling world generation with Harness evolution through three roles: Creator, Explorer, and Evolver. Drawing on verified execution trajectories, Evolver shifts the basis of task organization from surface categories to shared requirements, reorganizing the original task tree into a hierarchical capability tree. We introduce Capability-Driven Real2Sim2Real: for heterogeneous tasks at the same node, Creator abstracts their common requirements into simplified, verifiable simulated worlds for capability learning, while evaluation on original tasks measures transfer. Along this capability tree, Explorer progressively evolves reusable capability modules through selective inheritance, forming a Harness tree whose validated updates accumulate across iterations within a fixed topology. The resulting Harnesses specialize in different capabilities, motivating a Capability-Aware Harness Router that uses public task information to select compatible module configurations from the tree. Our evolved Harnesses improve mean performance by 34 points across 28 training benchmarks and 26 points across 18 unseen benchmarks, including two real-world embodied tasks.

関連論文

PR本紙発行元 EmplifAI