選好学習2026/9/12arXiv:2609.13982

人間フィードバックの含意を再考する：協働ロボットのための選好学習

Rethinking the Implications of Human Feedback for Preference Learning in Human-Robot Collaboration

人間のフィードバックからロボットの選好を学ぶ際、固定ルールで含意ラベルを導出する従来法の問題点を示し、その含意自体を学習するIMPLIEDを提案した論文。

詳しい要約

1. どんなもの？

- Human-Robot Interaction における選好学習のための報酬モデル学習手法。 - 従来は人間の直接フィードバックから固定ルールで implied labels を導出し報酬を更新。 - 本研究は固定ルールの限界を示し、implication を学習する IMPLIED を提案。 - 人間の暗黙的・明示的フィードバックから選好を推定する PIE アルゴリズムを基盤とする。

2. 先行研究と比べてどこがすごい？

- 従来の固定 implication rule は人間の実際の implication labels としばしば異なることをユーザスタディで示した。 - 人間ラベルを使うと PIE による報酬学習が大幅に改善。 - IMPLIED は固定ルールを初期ガイドとしつつ、時間とともに accepted/rejected ラベルを推論・修正する。 - 固定ルールや LLM ベースラインより人間の implication を正確に予測し、human-label oracle に迫る性能。

3. 技術・手法の肝は？

- IMPLIED は implication modeling 手法。 - 固定ルールによる implication を初期ガイドとして利用。 - 学習を通じて accepted および rejected action labels を推論し、時間とともに修正。 - PIE アルゴリズムと組み合わせて報酬モデルを更新。

4. どうやって有効だと検証した？

- 2つの協調シミュレーション環境でのユーザスタディ。 - 記録された human-robot interaction trajectories での評価。 - 物理ロボットによる pizza-making study。 - IMPLIED は固定ルールや LLM ベースラインより正確に人間の implication を予測。 - 選好推定誤差を低減し、真の選好報酬とタスク固有報酬を合わせた報酬に対してロボット行動がより合理的になることを確認。

5. 議論はある？

- 固定ルールが選好学習を妨げる可能性を指摘。 - 人間の implication labels の多様性と、それを学習で捉えることの重要性を示唆。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は？

- Preference Learning from Implicit and Explicit Feedback (PIE) - 固定 implication rule を用いる標準的アプローチ - LLM ベースライン - human-label oracle - 関連分野の定番として Inverse Reinforcement Learning (IRL) や Preference-based Reinforcement Learning (PbRL)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiping Zhang, Kate Candon, Debasmita Ghose, Marynel Vázquez

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

In Human-Robot Interaction, the standard approach to learn a reward model that represents human preferences for robot behavior consists of three steps. First, the robot collects limited direct evidence from human feedback (e.g., positive or negative binary feedback). Then, the robot utilizes the direct evidence to derive accepted or rejected labels to feasible but unchosen actions using fixed implication rules. Finally, the robot updates the reward model with both the direct and derived evidence. Unfortunately, the fixed rule can hinder preference learning: in a user study with two collaborative simulation environments, human-provided implication labels often differed from the standard fixed rule, and using the human labels substantially improved reward learning with the Preference Learning from Implicit and Explicit Feedback (PIE) algorithm. Consequently, we propose IMPLIED, an implication modeling method that treats fixed-rule implications as an initial guide while learning to infer and revise accepted and rejected action labels over time. Across evaluations on recorded human-robot interaction trajectories and a physical robot pizza-making study, IMPLIED predicts human implications more accurately than the fixed rule approach and LLM baselines, approaching the performance of a human-label oracle. In turn, IMPLIED reduces preference-estimation error and leads to robot actions that are more often rational with respect to a combined reward (which includes the true preference reward and a task-specific reward) compared to baselines. By learning to reason about the implications of human feedback, this work enables more faithful and efficient robot behavior adaptation during human-robot collaboration.

arXivで原文を読む →arXiv概要ページ