HUI360: ロボットと人間のインタラクション予測のための360度自己中心視点データセットとベースライン

HUI360は、移動ロボットの視点から収集された、実世界でのHuman-Robot Interaction (HRI) 予測のための大規模な360度全方位データセットと、そのベースラインを提供する研究である。データセットは、3ヶ月間にわたる複数日の屋外環境で収集され、通行人やユーザーの自然な自発的行動を捉えている。自動アノテーションパイプラインと手動調整インターフェースを備え、100万件の前処理済みアノテーション（2Dポーズ、顔のキーポイント、セグメンテーションマスク）を公開する。さらに、GDPRに準拠した研究目的でのrawパノプティック360度画像の提供、および既存の屋外データセットSSUP-HRIに対する600万件のアノテーションの追加リリースも行う。

先行研究と比較して、HUI360はHRI予測のための最大のデータセットであり、実世界の多様な環境で長期間にわたって収集された点が優れている。また、360度の全方位視点を採用し、自動アノテーションパイプラインを提供することで、大規模なアノテーションを効率的に生成できる。さらに、このタスクにおける初のクロスデータセット評価を実施し、SSUP-HRIデータセットにもアノテーションを追加することで、モデルの一般化能力の評価を可能にしている点が新しい。

技術の肝は、360度のequirectangularビデオに対する自動インタラクションアノテーションパイプラインの設計にある。このパイプラインは、state-of-the-artのコンピュータビジョン手法を用いて2Dポーズ、顔のキーポイント、セグメンテーションマスクを抽出し、手動によるキュレーションで高品質なトラッキングとインタラクションアノテーションを保証する。また、ベースラインとして、インタラクション予測のためのモデルを構築し、クロスデータセット評価を可能にするためのアノテーション形式を統一している。

有効性の検証は、データセットの規模と多様性、およびベースラインの性能評価によって行われた。具体的には、HUI360データセットを用いてインタラクション予測のベースラインを確立し、さらにSSUP-HRIデータセットとのクロスデータセット評価を実施することで、モデルの一般化能力を検証している。データセットの品質は、手動キュレーションによって保証されている。

議論としては、データセットが特定のロボットプラットフォームと環境に依存している可能性があり、他の環境やロボットへの一般化には限界があるかもしれない。また、360度画像の処理は計算コストが高く、実時間での予測には課題が残る。さらに、プライバシーとGDPRへの準拠が重要であり、データの提供には制限がある。

要旨で参照されている既存のデータセットとしてSSUP-HRIが挙げられる。また、関連する研究として、HRI予測や行動予測の分野の定番手法（例：Transformer-based models, Social GAN）や、360度画像処理に関する研究（例：Omnidirectional CNN）が考えられる。