人間行動モデル2026/10/26arXiv:2610.34839

行動品質は学習有用性ではない：ロボット学習のための人間行動モデルにおける目的の不一致

Behavioural Quality Is Not Learning Utility: Objective Mismatch in Human Behaviour Models for Robot Learning

人間行動モデルの生成品質を測る既存指標が下流のロボット強化学習性能を予測できるかを、運転と物体受け渡しの2領域で検証し、両者が一致しない目的のミスマッチを明らかにした論文。

詳しい要約

1. どんなもの？

- 人間行動モデルをRLによるロボット学習のための模擬人間パートナーとして用いる研究。 - 既存研究は生成行動が実人間データにどれだけ似るかで評価し、訓練パートナーとしての有用性はあまり評価していない点を問題視。 - 行動評価指標と下流のロボット方策学習性能の間に目的のミスマッチがあり得ることを指摘。 - highway drivingとobject handoverの2つのHRI領域で検証。

2. 先行研究と比べてどこがすごい？

- 従来は人間行動モデルを行動類似度(生成モデル評価指標)で評価するのが主流。 - 本研究はその評価と、そのモデルで訓練したRL方策の下流性能を直接比較する点が新しい。 - 複数のhuman trajectory representationを考慮し、評価が表現選択に敏感であることを示す。 - 真のテスト行動分布が既知でも、別分布で訓練した方が下流性能が良くなり得ることを示す。

3. 技術・手法の肝は？

- highway drivingとobject handoverの2領域で複数種類の人間行動モデルを用意。 - 共通のgenerative-model evaluation metricsで各モデルの行動品質を評価。 - 複数のhuman trajectory representationを検討し、評価結果の感度を分析。 - 各モデルを用いてRLでロボット方策を訓練し、下流性能と行動評価指標の対応を比較。

4. どうやって有効だと検証した？

- 2つのHRI領域(highway driving, object handover)で実験。 - 行動評価指標による順位と、対応モデルで訓練したRL方策の下流性能を比較。 - 複数のtrajectory representation間で評価の一貫性を検証。 - 真のテスト分布と異なる分布で訓練した場合の下流性能も比較。

5. 議論はある？

- 既存の行動評価指標は領域やtrajectory representationをまたいで下流方策性能を一貫して予測できない。 - 評価指標自体がtrajectory representationの選択に敏感。 - 真の分布で訓練するより別分布で訓練する方が下流性能が良くなる場合がある。 - 人間行動モデルの評価は行動類似度ではなく下流タスク性能で行うべきという示唆。

6. 次に読むべき論文は？

- 要旨からは不明(参照・比較された個別研究名は明示されていない)。 - 関連手法としてhuman behaviour models、reinforcement learning (RL)、generative-model evaluation metrics、human trajectory representation、human-robot interaction (HRI)の文献を辿るのが妥当。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyang Jiang, Dana Kulic, Michael Burke, Pamela Carreno-Medrano

分類: cs.RO

原文アブストラクト

Human behaviour models are increasingly used to provide simulated human interactions for training robots via reinforcement learning (RL). Existing approaches primarily evaluate these models according to how closely their generated behaviours resemble real human data, while their usefulness as training partners is less commonly assessed. This creates a potential objective mismatch: a model that performs well according to behavioural evaluation metrics may not necessarily provide useful training experiences for downstream robot policy learning. Across two human-robot interaction (HRI) domains, highway driving and object handover, we evaluate different types of human behaviour models using common generative-model evaluation metrics. We consider multiple human trajectory representations and compare the resulting evaluations with the downstream performance of RL policies trained using the corresponding models. We find that existing behavioural evaluation metrics do not consistently predict downstream policy performance across domains and trajectory representations, while their evaluations are sensitive to the choice of trajectory representation. We also show that even when the true testing behaviour distribution is known, training against a different distribution may yield better downstream performance than training directly against the true distribution.

arXivで原文を読む →arXiv概要ページ

← 論文一覧