HEIR: 自己中心的な意図を活用した人とロボットのインタラクション
HEIR: Harness Egocentric Intent for Human-Robot Interactions
人の発話・視線・一人称視点映像とロボットの観測・遠隔操作軌跡を対応付けたデータセットHEIRを構築し、意図理解から長期タスク実行までを統合的に評価した研究。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yichi Zhang, Bo Wang, Zhenghan Zhu, Yutong Han, Jiayin Zou, Gao Kejun, Chang Liu, Shaoxuan Xie, Chi Zhang, Shi Haoyang, Zongxuan Lai, Sen Cui, Guocai Yao, Miao Liu
分類: cs.RO
原文アブストラクト
For robots to assist, serve, and collaborate with humans, they must not only interpret human requests conveyed through language and multimodal intentional cues, but also execute long-horizon tasks that interleave navigation and manipulation. In this paper, we introduce HEIR, a resource for studying how to Harness Egocentric Intent for Human-Robot Interaction. HEIR pairs human speech, measured gaze, and egocentric video with robot observations and teleoperated navigation-manipulation trajectories, while each session preserves successive episodes, with each request fulfilled through multiple execution subtasks. The captured data, together with human-authored annotations, support the study of intent grounding, execution planning, and task completion within a unified interaction setting. To demonstrate the value of HEIR, we conduct extensive offline experiments to evaluate how models benefit from additional human-centric context across these tasks, together with real-robot experiments that assess execution task completion. HEIR thus provides a valuable resource for studying user-centric robot interaction in naturalistic household environments. Our demo and dataset are available online.
関連論文
- コネクション・コーディネーション・ラポール（CCR）尺度：人とロボットのラポールを測る二因子尺度人ロボットインタラクション
- 潜在観測拡張による視点取得（LEAPT）：人とロボットのインタラクションに向けて人ロボットインタラクション
- 自由エネルギー原理に基づく人-ロボットの運動感覚的インタラクション人ロボットインタラクション
- タスク非依存な適応制御による安全な人-ロボット間ハンドオーバー人ロボットインタラクション