日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2611.26444

Mind2Act World:身体知・物理行動・その統合を診断するロボット操作ベンチマーク

Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

推論・実行・その統合を別々に評価できる30タスクの診断ベンチマークを提案し、既存モデルが単一能力だけでは統合タスクに対応できないことを示した。

詳しい要約

1. どんなもの?

- ロボット操作における embodied intelligence を診断するベンチマーク「Mind2Act World」の提案 - 5つの実世界応用領域からなる30の simulated manipulation tasks - 各タスクに3難易度と2 scene settings(Clean / Random)があり計180 configurations - 3つの view で構成 - Mind: 過去の観測に基づく意思決定を評価 - Act: 精密かつ timely な実行を評価 - Mind2Act: 行動結果が後の意思決定を導く closed-loop タスクで両者を統合 - 3 view の比較により、能力の欠如か、既有能力の composition 失敗かを切り分け可能 - diagnosis harness が失敗 episode を Mind / Act / composition に帰属し profile card に要約

2. 先行研究と比べてどこがすごい?

- 既存 benchmark は reasoning と execution を同一タスク内で評価するか、別々に評価して composition を扱わない - そのため失敗が reasoning 由来か execution 由来か composition 由来か判別しにくい - Mind2Act World は Mind / Act / Mind2Act の3 view を分離し、能力の有無と composition の失敗を切り分け可能にした点が新しい - 30タスク×3難易度×2 scene settings の180 configurations で診断的に評価 - diagnosis harness により失敗 episode を帰属し profile card で要約する仕組みを備える - 単一 view での competence が Mind2Act タスクに転移しないことを実証的に示した点が先行研究との差異

3. 技術・手法の肝は?

- 5つの実世界応用領域から選んだ30の simulated manipulation tasks を設計 - 各タスクに3 difficulty levels と Clean / Random の2 scene settings を設定 - 3 view の設計 - Mind: 過去観測に基づく decision を評価 - Act: 精密かつ timely な execution を評価 - Mind2Act: action outcomes が後続 decision を導く closed-loop で composition を評価 - diagnosis harness が失敗 episode を Mind / Act / composition に帰属し、system ごとの profile card を生成 - multimodal agents、vision-language-action models (VLAs)、world-action models (WAMs) を評価対象とする

4. どうやって有効だと検証した?

- multimodal agents、vision-language-action models (VLAs)、world-action models (WAMs) を Mind2Act World で評価 - 単一 view の competence が Mind2Act タスクに持ち越されないことを確認 - 最強 agent は Mind 52.7%、Act 39.0% 成功するが Mind2Act では 12.0% のみ - システム特性の対比 - 最強 agent は task state を保持するが sustained contact が苦手 - end-to-end policies は練習済み motion を実行できるが task state の保持が乏しい - diagnosis harness により失敗 episode を3 representative systems について Mind / Act / composition に帰属し profile card に要約

5. 議論はある?

- 単一 view での成功が Mind2Act の closed-loop タスクに転移しないことを主要な知見として提示 - 最強 agent でも Mind2Act は 12.0% 成功にとどまり、environmental feedback を通じた reasoning と execution の composition が主要な未解決問題だと結論 - 失敗の原因を Mind / Act / composition に切り分ける診断の重要性を議論 - 具体的な限界や今後の拡張、sim-to-real の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は明示されていない - 関連手法として挙げられている vision-language-action models (VLAs)、world-action models (WAMs)、multimodal agents の代表的論文 - closed-loop な reasoning と execution の composition を扱う embodied manipulation 研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuzhi Huang, Jie Wu, Fanding Huang, Junchao Lin, Weichen Zhang, Ziyi Xiong, Yang Li, Zhengwei Xie, Zhimin Wang, Zhen Liu, Jiazhen Huang, Yuzheng Zhang, Yuche Liu, Hongyi Yang, Chen Tang, Shixiang Tang, Hakan Aktas, Adam Wu, Duo Wu, Kangye Ji, Shuzhao Xie, Huanan Liu, Weijue Bu, Chenxin Li, Xinyuan Wang, Tianyi Bai, Yinan Mao, Jiawei Wang, Minglei Li, Heng Yu, Ehsan Adeli, Minchen Li, Yong-Lu Li, Cengiz Öztireli, Huazhe Xu, Chao Yu, Jing Zhang, Shanghang Zhang, Weitao Zhou, Wenwu Zhu, Cheng Chi, Jingyan Jiang, Zhi Wang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Embodied intelligence aims to let robots perform complex physical tasks with human-like adaptability and reliability, which requires three complementary capabilities: history-based cognitive reasoning, precise and timely physical execution, and the composition of reasoning and execution through environmental feedback. Yet existing benchmarks either evaluate reasoning and execution within the same tasks or assess them separately without their composition, so they reveal little about whether a failure comes from reasoning, execution, or their composition. We introduce Mind2Act World, a diagnostic benchmark of 30 simulated manipulation tasks from five real-world application domains. Each task has three difficulty levels and two scene settings (Clean and Random), yielding 180 configurations. The tasks form three views: Mind tests decisions based on past observations, Act tests precise and timely execution, and Mind2Act combines both in closed-loop tasks where action outcomes guide later decisions. Comparing the three views shows whether a system lacks a capability or fails to compose capabilities it already has. A diagnosis harness further attributes the failed episodes of three representative systems to Mind, Act, or their composition and summarizes each system in a profile card. Our evaluation of multimodal agents, vision-language-action models (VLAs), and world-action models (WAMs) shows that competence in a single view does not carry over to Mind2Act tasks. Even the strongest agent succeeds in 52.7% of Mind and 39.0% of Act episodes but in only 12.0% of Mind2Act episodes. The strongest agent retains task state but struggles with sustained contact, whereas end-to-end policies execute practiced motions but retain little task state. These findings point to composing reasoning and execution through environmental feedback as the main open problem.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI