日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント協調/世界モデルarXiv:2611.25105

MAWAM:協調マニピュレーションのためのマルチエージェント世界行動モデル

MAWAM: A Multi-Agent World-Action Model for Coordinated Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

複数ロボットの行動と未来の視覚予測を単一サンプルで同時生成する世界行動モデルを提案し、実機3タスクで平均成功率67.8%を達成した。

詳しい要約

1. どんなもの?

- 複数ロボットの協調マニピュレーションのための Multi-Agent World-Action Model「MAWAM」 - 各ロボットの将来視覚(view)と実行可能な action chunk を単一サンプルで同時生成 - チーム全体の行動と、それが共同で生み出す物理的未来を一緒に予測する枠組み - 対象タスクは real-robot で laundry-bag collection、bath-towel folding、umbrella handover の3つ - シミュレーションでは最大4アームのチーム、8タスクを扱う

2. 先行研究と比べてどこがすごい?

- 同一の demonstrations と cameras で学習した MA-VLA と比較し、real-robot 3タスクすべてで最高成功率 - 平均成功率 67.8%、MA-VLA 比 +18.9 percentage points - 単一ロボットの world-action backbone をマルチエージェントへ拡張した点が特徴 - シミュレーションでは最大4アームのチームで平均 90.3% 成功 - 協調制御における cross-agent attention と team-stage future-video supervision の有効性を ablation で示す

3. 技術・手法の肝は?

- 事前学習済みの単一ロボット world-action backbone を基盤とする - 全ロボットの action tokens と future-view tokens を cross-agent attention により jointly denoise - 各ロボットには個別の control interface を保持 - 単一サンプルで各ロボットの将来視覚と action chunk を同時生成 - team-stage future-video supervision を学習に導入

4. どうやって有効だと検証した?

- real-robot 3タスク(laundry-bag collection、bath-towel folding、umbrella handover)で評価 - 平均成功率 67.8%、MA-VLA を +18.9 percentage points 上回る - シミュレーション8タスク、最大4アームのチームで平均 90.3% 成功 - Ablation: - cross-agent attention を除くと four-arm relay が 95.0% から 39.0% へ低下 - team-stage future-video supervision を除くと Place Food が 78.0% から 47.0% へ低下

5. 議論はある?

- cross-agent attention が協調制御に重要であることを ablation で定量的に示す - team-stage future-video supervision も協調性能に寄与することを示す - 各ロボットの control interface を分離しつつ jointly denoise する設計の妥当性が示唆される - 限界や失敗要因、計算コスト、スケーラビリティに関する議論は要旨からは不明

6. 次に読むべき論文は?

- MA-VLA(同一 demonstrations・cameras で比較された baseline) - 事前学習済み単一ロボット world-action backbone に関する研究 - cross-agent attention を用いたマルチエージェント協調手法 - future-video supervision を用いた world model 研究 - 協調マニピュレーションのベンチマーク(real-robot 3タスク、シミュレーション8タスク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianzhe Fan, Chi-Pin Huang, Fu-En Yang, Jing Wang, Yecheng Wu, Yu-Cheng Chou, Johan Bjorck, Linxi "Jim" Fan, Jan Kautz, Yu-Chiang Frank Wang, Zhiding Yu, Hengshuang Zhao, Zhiqi Li

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Every move in a robot team changes the world in which its teammates must act. Coordinated manipulation therefore calls for predicting the team's actions together with the physical future they jointly create. We introduce MAWAM, a multi-agent world-action model that jointly generates each robot's future views and executable action chunks in a single sample. Built from a pretrained single-robot world-action backbone, MAWAM jointly denoises all robots' action and future-view tokens through cross-agent attention, while preserving a separate control interface for each robot. MAWAM achieves the highest success on all three real-robot tasks (laundry-bag collection, bath-towel folding, and umbrella handover), with 67.8% mean success, 18.9 percentage points above MA-VLA trained on the same demonstrations and cameras. In simulation, MAWAM reaches 90.3% mean success on eight tasks with teams of up to four arms. Ablations show that cross-agent attention and team-stage future-video supervision both improve coordinated control: without attention, a four-arm relay falls from 95.0% to 39.0%, and without this supervision, Place Food falls from 78.0% to 47.0%.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI