対話/支援ロボット2026/9/16arXiv:2609.19447

支援ロボット対話のWizard-of-Oz収集から応答決定タクソノミーへ：パイロット相互作用の回顧的分析

From Wizard-of-Oz Human-Robot Dialogue Collection to a Taxonomy of Robot Response Decisions: A Retrospective Analysis of Assistive Pilot Interactions

シェア:X Threads Facebook LINE はてブ Bluesky

Wizard-of-Ozで収集した屋内支援タスク対話を分析し、ロボットの応答モード6種と曖昧さ4種からなる階層的タクソノミーを構築、人手・AIによるアノテーション一致度とVLM微調整の実現性を示した。

詳しい要約

1. どんなもの？

- 車椅子搭載型移動マニピュレータを用いたWizard-of-Ozパイロット研究の事後分析。 - 5名の参加者がドア開け、引き出し開け、食事、飲み物、掃除などの日常屋内タスクを実施。 - ウィザードは正式なコミュニケーションポリシーなしで応答。 - 40エピソードから6つの応答モード（ANSWER, REPORT_DONE, REFUSE, CONFIRM, CLARIFY, ACT）と4つの曖昧さタイプ（intent, referential, spatial, intelligibility）からなる階層的タクソノミーを導出。 - 2名の人間アノテータと1名のAIアノテータがスキームを適用。

2. 先行研究と比べてどこがすごい？

- 既存データセットは実世界の状況依存対話が少なく、ロボットが行動・確認・明確化・拒否を決定するための実践的な基準が不足。 - 本研究はWizard-of-Oz研究の事後分析により、実際のユーザー行動を保持しつつ、一貫性のないロボット側決定を明示的な決定スキームへと導出。 - タクソノミーに基づくラベルでLLaVA-1.6-7Bをファインチューニングし、ACTとCLARIFYの訓練可能性を示した点が新しい。

3. 技術・手法の肝は？

- Wizard-of-Ozパイロット研究の事後分析。 - 40エピソードから階層的タクソノミー（6応答モード、4曖昧さタイプ）を帰納的に導出。 - 2名の人間アノテータと1名のAIアノテータがスキームを適用し、クリーンラベル率とCohen's kappaを評価。 - タクソノミー由来のラベルでLLaVA-1.6-7Bをファインチューニング。

4. どうやって有効だと検証した？

- 2名の人間アノテータと1名のAIアノテータがスキームを適用。 - クリーンラベル率は91%と89%。 - Cohen's kappaは決定点、モード、曖昧さレベルで0.72から0.95の範囲（人間-人間および人間-AI比較）。 - LLaVA-1.6-7Bのファインチューニングにより、ACTとCLARIFYの訓練可能性を示唆。

5. 議論はある？

- 決定点の識別とREPORT_DONEに残る境界事例が、より一貫した対話収集のための制約付きプロトコルの必要性を動機付ける。 - 正式なコミュニケーションポリシーなしのウィザード応答は一貫性に欠けたが、実際のユーザー行動を保持した。 - タクソノミーに基づくアノテーションの信頼性は高いが、完全な一致には至っていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Wizard-of-Ozによる対話収集、階層的タクソノミー、LLaVA-1.6-7Bのファインチューニングが挙げられる。 - 同分野の定番として、視覚言語モデル（VLM）を用いたロボット対話、曖昧さ解決、指示理解に関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guangping Liu, Nicholas Hawkins, Tipu Sultan, Flavio Esposito, Madi Dian

分類: cs.RO

原文アブストラクト

Robots that follow natural-language instructions in everyday indoor environments must act on incomplete human utterances. Instructions often omit essential information, such as the identity of an out-of-view object, an intended destination, or the user's goal. Existing datasets contain little real-world situated dialogue and provide few practice-grounded criteria for deciding when a robot should act, confirm, clarify, or refuse. We retrospectively analyze a pilot Wizard-of-Oz study in which five participants performed everyday indoor tasks, including door opening, drawer opening, feeding, drinking, and cleaning, with a wheelchair-mounted mobile manipulator while the wizard responded without a formal communication policy. This preserved authentic user behavior but produced inconsistent robot-side decisions, motivating an explicit decision scheme. From 40 episodes, we derived a hierarchical taxonomy of six response modes (ANSWER, REPORT_DONE, REFUSE, CONFIRM, CLARIFY, ACT) and four ambiguity types (intent, referential, spatial, intelligibility). Two human annotators and an AI annotator applied the scheme to the pilot data. Clean-label rates were 91% and 89%, and Cohen's ranged from 0.72 to 0.95 across decision-point, mode, and ambiguity levels for both human-human and human-AI comparisons. Fine-tuning LLaVA-1.6-7B on taxonomy-derived labels for ACT and CLARIFY indicates the feasibility of training vision-language models using annotations from our taxonomy. Remaining boundary cases in decision-point identification and REPORT_DONE motivate a constrained protocol for more consistent dialogue collection.

arXivで原文を読む →arXiv概要ページ

← 論文一覧