日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マルチロボット/複合現実/LLMarXiv:2610.07477

MRPilot: 複合現実によるLLMベースのマルチロボットチームの監督と介入

MRPilot: Supervising and Intervening LLM-Based Multi-Robot Teams through Mixed Reality

シェア:XThreadsFacebookLINEはてブBluesky

複合現実を用いて、LLMが計画するマルチロボットチームのタスク解釈や実行状態を可視化し、ユーザーが曖昧な指示の解決から計画レビュー、監視、修正まで行える監督・介入システムを開発した。

詳しい要約

1. どんなもの?

- LLMでheterogeneous multi-robot systems (MRS)を自然言語で操作する際の監督・介入を支援するmixed reality system「MRPilot」 - 12名の非専門家によるformative studyに基づき、4段階の監督・介入プロセスで構成 - robot-team plansとexecution statesをstructured commitmentsとして、situated viewとoverview viewで同期共有 - 4段階: Forming(曖昧な参照の解決)、Reviewing(実行前の計画確認)、Following(分散実行の監視)、Repairing(問題発生時のrobot-level/team-level変更)

2. 先行研究と比べてどこがすごい?

- 従来のLLM-based conversational interfaceではtask interpretation, robot assignment, coordinationの検査・変更が困難 - MRPilotは同じLLM plannerとrobot capabilitiesを用いつつ、mixed realityで監督・介入を可能に - 従来の対話型インターフェースと比較して、workloadを低減し、situational awareness, transparency, trust, perceived controlを向上 - 非専門家ユーザを対象としたformative studyに基づく設計が特徴

3. 技術・手法の肝は?

- mixed reality systemで、robot-team plansとexecution statesをstructured commitmentsとして表現 - situated viewとoverview viewを同期させ、マルチスケールな監督を実現 - 4段階の監督・介入: Forming, Reviewing, Following, Repairing - Formingでは曖昧な参照を解決、Reviewingでは実行前の計画を確認、Followingでは分散実行を監視、Repairingではrobot-level/team-levelの変更を実施

4. どうやって有効だと検証した?

- 20名の参加者によるwithin-subjects studyをvirtual reality-simulated homeで実施 - 同じLLM plannerとrobot capabilitiesを用いた従来のLLM-based conversational interfaceと比較 - 結果としてworkloadが低減し、situational awareness, transparency, trust, perceived controlが向上 - 有効性は主観評価指標とタスク遂行を通じて検証

5. 議論はある?

- multi-scale intervention, adaptive supervision, calibrated reliance in LLM-based MRSに関するdesign implicationsを提供 - 非専門家ユーザの監督・介入を支援するための設計知見 - 要旨からは、限界や今後の課題についての具体的な議論は不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: conventional LLM-based conversational interface, LLM-based MRS - 関連手法: mixed reality, heterogeneous multi-robot systems (MRS), large language models (LLMs) - 同分野の定番: human-robot interaction, multi-robot coordination, LLM-based planning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoran Yang, Xun Qian, Yang Zhan, Nathan Tran, Ziyi Liu, Qiao Jin

分類: cs.HC, cs.RO

原文アブストラクト

Large language models (LLMs) let users direct heterogeneous multi-robot systems (MRS) through natural language, but make task interpretation, robot assignment, and coordination difficult to inspect and change. Based on a formative study with 12 non-expert users, we developed MRPilot, a mixed reality system organized around four stages of supervision and intervention. MRPilot represents robot-team plans and execution states as structured commitments shared across synchronized situated and overview views. Across four stages, it helps users resolve ambiguous references (Forming), review plans before execution (Reviewing), monitor distributed execution (Following), and make robot-level or team-level changes when problems arise (Repairing). In a within-subjects study with 20 participants in a virtual reality-simulated home, MRPilot reduced workload, increased situational awareness, transparency, trust, and perceived control compared with a conventional LLM-based conversational interface using the same LLM planner and robot capabilities. We provide design implications for multi-scale intervention, adaptive supervision, and calibrated reliance in LLM-based MRS.

PR本紙発行元 EmplifAI