エラー認識モニタリング2026/10/13arXiv:2610.17694

HelpMeOut: 家庭内タスク実行のエラー認識モニタリングのための神経心理学的ベンチマーク

HelpMeOut: A Neuropsychology-Grounded Benchmark for Error-Aware Monitoring of Household Task Execution

認知機能障害や高齢者の日常行動に生じる構造的エラーを検出するため、9カテゴリのエラーを含む2万件の活動エピソードからなるベンチマークを構築し、既存手法がエラーモニタリングに苦戦することを示した。

詳しい要約

1. どんなもの？

- 家庭内タスク実行のエラー認識モニタリングのためのembodied AIベンチマーク「HelpMeOut」を提案。 - 認知障害者や高齢者の日常活動に生じる構造的エラーを対象。 - 20000のペア活動エピソードを含み、9つの神経心理学的エラーカテゴリをカバー。 - エージェントはストリーミング人間活動軌跡を観察し、実行が正しく進んでいるか監視し、構造的エラーを早期に診断する必要がある。

2. 先行研究と比べてどこがすごい？

- 既存のembodied householdベンチマークは人間が正しくタスクを実行することを仮定。 - 認知障害者や高齢者の日常活動における構造的エラーを扱えない。 - HelpMeOutはこのギャップを埋め、エラー認識支援エージェントのテストベッドを提供。 - 標準的なgoal-inferenceやtask-completionベンチマークではカバーされない領域。

3. 技術・手法の肝は？

- 日常行動エラーに関する研究を操作化し、20000のペア活動エピソードを生成。 - 9つの神経心理学的に動機付けられたエラーカテゴリを定義。 - エージェントはストリーミング活動軌跡を観察し、エラーを早期診断。 - 学習モニター、記号、変化点、フロンティアLLMプロンプティングのベースラインを評価。

4. どうやって有効だと検証した？

- 学習モニター、記号、変化点、フロンティアLLMプロンプティングのベースラインを評価。 - 結果、これらの手法はエラーモニターとして性能が低く、実行が失敗したときを見逃すことが多い。 - 標準的なgoal-inferenceやtask-completionベンチマークでは埋められないギャップを示唆。

5. 議論はある？

- 既存手法がエラーモニターとして不十分であることを示す。 - エラー認識支援エージェントの必要性を強調。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、embodied household benchmarks、goal-inference、task-completion、change-point detection、LLM promptingが挙げられる。 - 同分野の定番として、AI2-THOR、Habitat、ALFREDなどが考えられるが、要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Wang, Jingwei Huang, Anqing Duan, Ho Seok Ahn, Bruce Macdonald

分類: cs.RO, cs.AI, cs.SC

原文アブストラクト

We introduce HelpMeOut, an embodied AI benchmark for error-aware monitoring of household task execution. Existing embodied household benchmarks typically assume that humans execute tasks correctly, but this assumption does not hold for cognitively impaired persons or older adults whose everyday activities produce structured execution errors. To address this gap, HelpMeOut operationalizes research on everyday action errors into 20000 paired activity episodes, covering nine neuropsychologically motivated error categories. In each episode, agents observe a streaming human activity trajectory and must monitor whether the execution is unfolding correctly, diagnosing any structured errors as early as possible. We evaluate learned-monitor, symbolic, change-point, and frontier LLM prompting baselines. Results show that these methods perform poorly as error monitors, often missing when execution goes wrong. These results suggest a gap left by standard goal-inference and task-completion benchmarks, making HelpMeOut a testbed for error-aware assistive agents.

arXivで原文を読む →arXiv概要ページ

← 論文一覧