固定参照ポーズ残差による人間-ロボット相互作用予測のデータセット間手がかり転移の測定

本論文は、公共空間のsocial/service robotが、近くの人物が接触前に接近・接触するかを予測するanticipationを対象とする。異なるrobot・異なるsite間で、あるrobotで学習したモデルを別のrobotに適用した際のcue transferを測定するため、fixed-reference pose residual (FRPR) モデルを提案する。FRPRは、人物のbounding boxとmaskから作るgeometry predictorを学習後にfreezeし、temporal networkがbody poseからlogitへのadditive correctionを学習する。これにより各予測がgeometry termとpose termに厳密に分解される。2つのpublic egocentric datasets、HUI360とSSUP-A間で評価する。

先行研究と比べてどこがすごいかは要旨からは不明。ただし、あるrobotで学習したモデルを別robot・別siteに適用した際のcue transferは largely unknown と述べ、FRPRで予測をgeometry termとpose termに厳密に分解して測定可能にした点が特徴。SSUP-AからHUI360ではpose correctionがAPを0.277から0.321に上げたが、逆方向ではmeasurable gainなしという非対称性を示した。また、freezingはjoint trainingに対しAP advantageなし、simple geometric baselinesやtree ensemblesがcompetitive or betterであり、本構成はprediction accuracyではなくmeasurementのためのものと位置づける。

FRPRは、人物のbounding boxとmaskからgeometry predictorを構築し、学習後にfreezeする。次にtemporal networkがbody poseからlogitへのadditive correctionを学習し、予測をgeometry termとpose termに厳密に分解する。source data上で全ての選択を行い、source-selected geometry referenceよりも強いreferenceに対しても同様の非対称性を確認する。さらにhead-orientation residualを加えると両方向でsmall gainsが得られた。post hocでは、personがcameraを向いているかはdatasets間でdiscriminative directionを保ったが、head pitchは反転した。

2つのpublic egocentric datasets、HUI360とSSUP-Aを異なるrobotで記録したものを用い、source data上で全ての選択を行い、SSUP-AからHUI360およびその逆方向で評価した。SSUP-AからHUI360ではpose correctionがAPを0.277から0.321に上げたが、逆方向ではmeasurable gainなし。source-selected geometry referenceよりも強いreferenceでも同じ非対称性。freezingはjoint trainingに対しAP advantageなし。simple geometric baselinesとtree ensemblesはcompetitive or better。head-orientation residualは両方向でsmall gains。source dataでthresholdsを選んだgeometryを使うneural modelsはtarget interactionsのat most 17%しか検出しなかった。

本構成はprediction accuracyではなくmeasurementのために機能する。cue transferには方向依存の非対称性があり、SSUP-AからHUI360ではpose correctionが有効だが逆方向ではmeasurable gainなし。freezingのAP advantageはなく、simple geometric baselinesやtree ensemblesがcompetitive or better。post hocでpersonがcameraを向いているかはdatasets間でdiscriminative directionを保つが、head pitchは反転する。source dataでthresholdsを選ぶとtarget interactionsの検出率はat most 17%と低い。

要旨で参照/比較されている研究として、HUI360とSSUP-Aの2つのpublic egocentric datasets、simple geometric baselines、tree ensembles、joint training、source-selected geometry reference、head-orientation residualが挙げられる。関連手法として、human-robot interaction anticipation、cross-dataset cue transfer、pose-based temporal network、geometry predictor、bounding boxとmaskを用いる手法が次の読むべき候補。コードと処理済みデータは https://github.com/WeiZhou96/FRPR-interaction-anticipation で公開。