日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.33966

InteractiveWorld: 人間中心の検証可能な対話型MLLMアシスタント環境

InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants

シェア:XThreadsFacebookLINEはてブBluesky

AIアシスタントが人間に指示を出し人間が行動する閉ループ対話を検証可能にシミュレートする環境と、6カテゴリ120タスクの動的ベンチマークを提案し、最先端MLLMの限界を示した。

詳しい要約

1. どんなもの？

- 一人称視点の wearable 端末上の AI assistant を対象に、human と AI assistant の closed-loop interaction を検証できる環境 InteractiveWorld を提案 - 既存の robot-centric simulator と異なり、assistant が指示を出し、human agent が scene を観察・理解して自律的に行動する設定を模擬 - その上で 6 カテゴリ・120 の multi-turn タスクからなる動的 benchmark InteractiveBench を導入 - 検証可能な state-based reward で各 instruction の成果を採点する枠組み

2. 先行研究と比べてどこがすごい？

- 従来の assistant 評価は実人間が必要で、実 interaction data が高コストかつ希少という課題があった - 既存 simulator は robot-centric であり、human が指示を理解して行動する協働を模擬していない点が異なる - InteractiveWorld は human が scene を観察し instruction を理解して独立に行動する closed-loop を初めて検証可能にしたと主張 - InteractiveBench は一人称 AI assistant 向けの初の動的 benchmark と位置づけられている

3. 技術・手法の肝は？

- assistant が指示を出し、human が行動し、environment が action を実行して次に見える情報を更新する closed-loop 構造 - human agent が scene 観察・instruction 理解・行動を独立に行うことで、実世界での協働を現実的に模擬 - 各タスクは multi-turn で、assistant の各 instruction が outcome を形成する設計 - 評価は verifiable な state-based reward により採点

4. どうやって有効だと検証した？

- 12 の frontier MLLM を InteractiveBench 上で評価 - 最強の Claude Fable 5.1 でも long-horizon の Guidance で最大 20%、Planning で最大 25% にとどまる - この結果から現行 MLLM は信頼できる assistant にはまだ遠いと結論 - ただし要旨からは不明な点として、被験者数やタスク難度設定の詳細は記述されていない

5. 議論はある？

- 現行 MLLM の interactive assistant としての限界を定量的に示す一方、改善余地の大きさも示唆 - human が介在する評価の再現性や、state-based reward の妥当性については要旨からは不明 - 実 wearable 展開時の安全性や誤指示への対処は要旨では議論されていない - 長期 horizon タスクでの性能不足が今後の課題として残る

6. 次に読むべき論文は？

- 要旨で比較対象として明示された robot-centric simulator 系の研究 - 評価対象となった frontier MLLM のうち Claude Fable 5.1 などのモデル論文 - egocentric 視点の assistant 研究や wearable AI assistant 関連の定番研究 - multi-turn の instruction following や long-horizon planning を扱う benchmark 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu, Hai Helen Li, Yiran Chen, Raghuraman Krishnamoorthi, Qi Qian

分類: cs.HC, cs.CV

原文アブストラクト

People have long dreamed of an assistant that is always there to guide them and remind what they forget, from new dishes to lost keys. Powered by multimodal large language models (MLLMs), egocentric AI assistants on wearable devices are bringing this dream within reach: they see what the user sees and give instructions for user's physical work when necessary. However, testing such assistance is challenging and usually requires real people. The expensive and rare real interaction data leaves a key question unanswered: Can today's MLLMs truly help people in physical world? To answer this question, we propose InteractiveWorld, the first verifiable environment for closed-loop interaction between human and AI assistant. Unlike existing robot-centric simulators, InteractiveWorld lets the assistant guide a human agent who observes the scene, understands instructions, and acts independently. It thus realistically simulates how AI assistant collaborates with human: the assistant instructs, the human acts, and the environment executes actions and updates what they see next. Building on it, we introduce InteractiveBench, the first dynamic benchmark for egocentric AI assistants, with 120 multi-turn tasks across six categories. In each task, the assistant guides the human in real time, and every instruction shapes the outcome, which is scored by verifiable, state-based rewards. Experiments with 12 frontier MLLMs show they are still far from reliable assistants. Even the strongest model, Claude Fable 5.1, achieves at most 20% and 25% on long-horizon Guidance and Planning tasks, respectively. Overall, our work offers a verifiable platform and a rigorous evaluation set, laying a solid foundation for research on interactive MLLM assistants that truly help people in the physical world.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI