VLM2026/10/21arXiv:2610.29244

熱画像HRIにおける人間活動理解に対する視覚言語モデルの失敗モード

Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI

熱カメラ映像で人間活動を理解する7つの視覚言語モデルを評価し、細かい動作認識や時系列再構成、幻覚・棄権行動などの失敗パターンを明らかにした論文。

詳しい要約

1. どんなもの？

- 本研究は、thermal camera を用いた HRI における human activity understanding のための VLM の failure modes を明らかにする診断的評価研究である。 - 7つの locally deployable VLM（physical AI・robotics 向けモデルを含む）を、person-centric な2つの thermal dataset 上で評価する。 - 診断タスクは fine-grained action recognition、activity timeline reconstruction、unsupported answers を控える能力（abstention）の3つ。 - 比較参照として paired RGB recordings を用い、frame sampling・thermal input presentation・reasoning の統制された変化で誤りが緩和できるかも検証する。

2. 先行研究と比べてどこがすごい？

- 従来 VLM は主に RGB imagery 向けに開発され、embodied systems の scene understanding や high-level planning に統合されつつある。 - thermal sensing は暗所での activity perception を可能にし、RGB より個人特定につながる外見情報や周囲環境の詳細が少ないという利点がある。 - しかし thermal での human activity understanding における VLM の failure modes は未解明であり、本研究はこのギャップを埋める点が新規。 - physical AI・robotics 向けモデルを含む複数 VLM を thermal HRI 文脈で体系的に診断した点が先行研究と異なる。

3. 技術・手法の肝は？

- 7つの locally deployable VLM を、person-centric な2つの thermal dataset 上で評価する診断的ベンチマーク設計。 - タスクは fine-grained action recognition、activity timeline reconstruction、abstention（unsupported answers を控える能力）。 - paired RGB recordings を性能参照として併用する。 - frame sampling、thermal input presentation、reasoning を統制して変化させ、観察された誤りが緩和可能かを評価する。

4. どうやって有効だと検証した？

- 2つの person-centric thermal dataset と paired RGB recordings を用いた診断タスクで7モデルを評価。 - fine-grained action recognition、activity timeline reconstruction、abstention の各タスクで性能を測定。 - frame sampling・thermal input presentation・reasoning の統制変化により誤り緩和の可否を検証。 - 結果として、broad activity categories は認識できるが coughing・sneezing・yawning などの fine-grained actions は苦手、event timelines は不正確、objects を含む actions を hallucinate することを示した。

5. 議論はある？

- モデルは broad activity categories は認識可能だが、coughing・sneezing・yawning などの fine-grained actions の認識が困難。 - event timelines の再構成が不正確で、objects を含む actions について hallucination を生じる。 - 単純な thermal input preprocessing と追加 reasoning の利得は限定的でモデル依存。 - abstention 挙動は明示的指示下でもモデル間でばらつき、実用的な robotic use における信頼性を制限する。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていないため、同分野の定番として thermal imaging を用いた human activity recognition、VLM の hallucination 評価、abstention/selective prediction、RGB-thermal マルチモーダル学習、HRI 向け embodied VLM の関連論文を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Han Hu, He Chen

分類: cs.CV, cs.RO

原文アブストラクト

Thermal cameras enable robots to perceive human activities in darkness while revealing less personally identifiable appearance information and fewer details of the surrounding environment than RGB cameras. As vision-language models (VLMs), originally developed for RGB imagery, are increasingly integrated into embodied systems for scene understanding and high-level planning, thermal sensing offers a promising way to extend activity perception to low-light and privacy-sensitive settings. However, the failure modes of VLMs in thermal human activity understanding for human-robot interaction (HRI) remain underexplored. We fill this gap by evaluating seven locally deployable VLMs, including models developed for physical AI and robotics, on two person-centric thermal datasets. Our diagnostic tasks examine fine-grained action recognition, activity timeline reconstruction, and the ability to withhold unsupported answers. Paired RGB recordings serve as a performance reference, while controlled variations in frame sampling, thermal input presentation, and reasoning are used to assess whether the observed errors can be mitigated. Our results show that models can recognize broad activity categories but struggle with fine-grained actions such as coughing, sneezing, and yawning. They also produce inaccurate event timelines and hallucinate actions involving objects. Simple thermal input preprocessing and additional reasoning offer only limited, model-dependent gains. Abstention behavior also varies across models even under explicit instructions, limiting their reliability for practical robotic use.

arXivで原文を読む →arXiv概要ページ