実世界HRIにおけるマルチモーダル親密性推定

本研究は、実世界のHuman-Robot Interaction (HRI)における対話品質の自動評価、特に第三者評価によるrapportスコアの推定を扱う。日本のドラッグストアで収集した62セッションのマルチモーダル記録を用いて、zero-shot LLM、事前学習済みのテキスト・音声・視覚モデル、およびそれらの予測レベル融合を比較し、実環境での推定可能性を検証している。

既存の自動評価手法は主に管理された実験室環境で開発されており、ユーザーが自由に離脱でき、多人数参加が自然に発生する実世界環境への適用可能性は不明であった。本研究は、実世界の小売店舗という現実的な環境で収集したデータを用いて、複数のモダリティのモデルを体系的に比較し、zero-shot LLMが強い性能を示すこと、音声・視覚モデルが補完的情報を提供することを明らかにした点が新しい。

手法の肝は、実世界のHRIセッションから得たマルチモーダルデータ（テキスト、音声、視覚）を利用し、各モダリティの事前学習モデル（テキスト: Gemini 2.5 Flash、音声: HuBERT、視覚: V-JEPA）を個別に適用し、その後予測レベルで融合する点。また、zero-shot LLMを直接テキストに適用する方法も含む。

有効性の検証は、日本のドラッグストアで収集した62セッションのマルチモーダル記録を用いて、第三者評価によるrapportスコアを予測するタスクで行った。各モデルの性能を比較し、特にGemini 2.5 Flashが単一モデルとして強く、Gemini (テキスト)とHuBERT、V-JEPAを組み合わせた融合モデルが最良の性能を示した。さらに、相互作用の時間長やグループサイズの条件によって推定性能が変動することを分析した。

議論として、実世界のHRIにおけるrapport推定は、実験室環境で想定される以上の文脈的変動を考慮した評価とモデル設計が必要であると述べている。また、zero-shot LLMが強い性能を示す一方で、音声・視覚モデルが補完的情報を提供するという結果は、マルチモーダル融合の重要性を示唆する。ただし、推定性能が相互作用の時間長やグループサイズに依存するため、実用化にはこれらの条件に応じた適応が課題となる。

要旨で参照されている研究は明示されていないが、関連手法として、zero-shot LLM、事前学習済み音声モデル（HuBERT）、視覚モデル（V-JEPA）、およびマルチモーダル融合の研究が挙げられる。次に読むべき論文としては、これらの基盤となったモデルや、実世界HRIにおける対話品質評価に関する研究が考えられる。