マルチモーダル身体性エージェント：コンピュータ利用からロボット利用までを統合する能力中心の視点

- 本論文は、computer-use から robot-use へと移行する際に multimodal agent (MMA) に何が変わるかを問うサーベイ/位置づけ論文。 - multimodal embodied agent (MMEA) を、multimodal task reasoning と physical action を結合し、feedback から意思決定を修正する goal-directed system と定義。 - PAPAV という capability-centric な統一フレームワークを提案し、Perceive / Anticipate / Plan / Act / Verify の5機能で整理。 - アーキテクチャではなく機能で定義することで、MMEA を MMA および robotic system (RS) と比較可能にする。

- 従来の MMA 研究は computer-use agent などソフトウェア環境での reasoning・memory・tool 利用が中心で、RS は sensing と actuation を physical dynamics 下で扱う別系統だった。 - 本論文は両者を PAPAV の5機能で横断的に比較する点が新しい。 - 64 benchmarks を整理し、評価が Act に偏り Anticipate は5件、Verify は3件のみという評価ギャップを指摘。 - task success だけでなく5能力を測る共通基盤を提示する点が先行研究と異なる。

- 機能ベースの PAPAV フレームワーク: Perceive the current state、Anticipate action effects、Plan a feasible course、Act through an interface or body、Verify the outcome。 - この5機能で MMA・MMEA・RS の共通点と相違点を比較。 - partial observability から unverifiable outcomes に至る5つの physical constraints を整理し、事前に固定できる選択肢が減り誤りを巻き戻す余地が小さいことを論じる。 - 64 benchmarks を PAPAV の各能力にマッピングして評価状況を分析。

- 64 benchmarks の整理・分類により、評価が Act に集中し Anticipate と Verify の評価が乏しいことを定量的に示す。 - ただし新規手法やシステムの実験的検証を行う論文ではなく、フレームワークに基づく分析と課題整理が中心。 - 実タスクでの性能検証は要旨からは不明。

- 5つの physical constraints が、事前に固定できる選択肢を減らし、誤りを反転させる余地を小さくする点を議論。 - Anticipate と Verify が task success の背後に隠れてほとんど評価されていない評価ギャップを指摘。 - これらの制約が open challenges を枠づけると述べるが、具体的な課題名は要旨からは不明。 - 限界や反論の詳細は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として computer-use agent、robotic system (RS)、multimodal agent (MMA) の各文献を挙げる。 - 評価ギャップに対応するため、Anticipate や Verify を測る benchmark 論文、および PAPAV の5能力を実装・評価する embodied agent 研究が次に読む候補。