InteracVid: ライブチャット動画から構築した実インタラクティブ音声視覚応答データセット

InteracVidは、ライブチャット動画から抽出した、実世界のインタラクティブな音声・視覚応答データセットである。各サンプルは、先行する音声・視覚コンテキストと外部刺激（ユーザーのクエリ）に続く実際のインタラクティブ応答を組み合わせた、コンテキスト-クエリ-応答の三つ組で構成される。454K以上の三つ組を59K以上のライブストリーム動画から収集し、会話中心、オブジェクト中心、手続き的、身体化、スクリーンベースのシナリオをカバーする。大規模言語モデルがテキストを介した対話を標準とする中で、マルチモーダルアシスタントやアバター、身体化エージェントに必要な、外部ユーザーインタラクションによって引き起こされる音声・視覚応答の生成を可能にするための教師データを提供する。

既存の音声・ビデオ生成モデルは、主に記述的な教師データ（キャプション）で訓練されており、外部ユーザーのインタラクションに起因する応答を生成するための監督が不足している。InteracVidは、この欠落した監督を提供する最初の大規模オープンソースデータセットである点が革新的である。さらに、単なる記述ではなく、実際のインタラクションに基づく因果的な応答を捉えることで、より自然で文脈に即した生成を可能にする。

手法の核は、メタデータを活用したパイプラインで、長くノイズの多いライブストリームからインタラクティブなクリップを抽出することである。具体的には、ライブチャットのクエリとそれに続く応答を特定し、前後の音声・視覚コンテキストと組み合わせて三つ組を構築する。これにより、因果的で自然、かつ時間的に完全なインタラクションを抽出する。

有効性の検証は、10人の評価者による人間研究で、抽出されたインタラクションが因果的で自然、かつ時間的に完全であることを確認した。さらに、100の本物のライブチャットクエリからなる保持ベンチマークで、InteracVidでファインチューニングすることで、インタラクション計画と音声・ビデオ応答生成の両方が向上することを示した。独立した人間評価でも、自動評価と一致するシステムランキングと結論が再現された。

要旨からは、データセットのバイアスや多様性の限界、抽出パイプラインの一般化可能性、生成モデルの評価指標の妥当性などについての議論は明示されていない。また、データセットが特定のライブストリームプラットフォームに依存している可能性や、プライバシーや倫理的な懸念についても言及がない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、音声・ビデオ生成モデル（例: Video Generation, Audio-Visual Generation）や、インタラクティブなマルチモーダル生成に関する研究、および大規模データセット構築の手法（例: HowTo100M, VideoCLIP）が挙げられる。