日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.21686

MAIA: マルチモーダル世界モデルによる接触の多いマニピュレーションにおける相互作用異常の予測

MAIA: Anticipating Interaction Anomalies in Contact-Rich Manipulation via Multimodal World Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚・行動・力のマルチモーダル世界モデルで接触の多い操作中の異常を事前に予測し、異常を考慮した行動選択でタスク成功率を向上させた研究。

詳しい要約

1. どんなもの？

- 接触リッチな manipulation における異常を早期に予測する枠組み MAIA を提案。 - vision-action-force の world model で nominal な interaction dynamics を学習し、計画行動の視覚・力応答を予測。 - 軽量な anomaly head が差し迫った interaction anomaly を予測する。 - 評価用に CRIA を導入。18 の接触リッチタスク、2,852 trajectories、frame-level の anomaly onset/evolution 注釈付きの実世界 multimodal データセット。

2. 先行研究と比べてどこがすごい？

- 従来の monitoring は reactive で、異常が観測可能になってから検出するものが多い。 - MAIA は視覚だけでなく力も含む multimodal world model により、計画行動の物理的帰結を予測して異常を先回りする。 - 既知・新規タスクの両方で代表的な baseline より正確な異常判別と早い警告を実現。 - bACC 0.765/0.710、median anticipation lead time 28.0/25.1 steps。

3. 技術・手法の肝は？

- vision-action-force world model が nominal interaction dynamics を学習。 - 計画行動に対する視覚応答と力応答を予測。 - 軽量 anomaly head が impending interaction anomaly を予測。 - 予測を anomaly-aware action selection に用いることで、manipulation policy を再学習せずにタスク成功率を改善。

4. どうやって有効だと検証した？

- CRIA データセット上で seen/novel タスクの両方で評価。 - 代表的な baseline と比較し、より正確な異常判別と早期警告を確認。 - bACC 0.765/0.710、median anticipation lead time 28.0/25.1 steps。 - 予測を anomaly-aware action selection に使うと end-to-end タスク成功率が 52.6% から 61.5% に向上。

5. 議論はある？

- 将来の物理的帰結をモデル化することが proactive な異常予測に有効であると示唆。 - 限界や失敗事例、計算コスト、一般化の範囲などは要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている具体的な先行研究は不明。 - 関連手法として world models、multimodal learning、anomaly detection、contact-rich manipulation の定番研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Qiao, Maolin Zheng, Haoran Sun, Lujia Dong, Wenzhao Lian

分類: cs.RO

原文アブストラクト

Reliable contact-rich manipulation requires detecting execution deviations early enough for corrective action. Yet most monitoring methods are reactive, identifying anomalies only after they become observable. Anticipating such anomalies is challenging because visual observations only partially reveal physical interaction, while planned actions describe intended motion rather than their actual physical consequences. We address this problem with MAIA, a multimodal framework for anomaly anticipation. Its vision-action-force world model learns nominal interaction dynamics and predicts the visual and force responses of planned actions, while a lightweight anomaly head predicts impending interaction anomalies. To enable systematic evaluation, we introduce CRIA, a real-world multimodal dataset of 2,852 trajectories spanning 18 contact-rich manipulation tasks, with frame-level annotations of anomaly onset and evolution. Experiments on both seen and novel tasks show that MAIA achieves more accurate anomaly discrimination than representative baselines while providing earlier warnings, with bACC scores of 0.765 and 0.710 and median anticipation lead times of 28.0 and 25.1 steps, respectively. Moreover, using these predictions for anomaly-aware action selection improves end-to-end task success from 52.6% to 61.5% without retraining the underlying manipulation policy. These results highlight the value of modeling future physical consequences for proactive anomaly anticipation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI