IRWOZ 2.0: 産業用ロボット対話のための大規模言語モデル駆動対話データセット

IRWOZ 2.0は、産業用ロボットとの対話システム（HRI）の研究を目的とした対話データセットである。元のIRWOZデータセットに含まれるノイズ（対話状態や発話の誤り）を、大規模言語モデル（LLM）を用いて修正・拡張した。具体的には、MistralとClaude-3.5を用いてデータを生成・改良し、手動修正と自動タイポ除去を施している。最終的に、4つの産業ドメイン（Assembly, Delivery, Position, Relocation）にわたる390の対話で構成される。

先行研究であるIRWOZは、産業用HRI対話システムのためのドメイン特化アノテーションを提供していたが、対話状態と発話にかなりのノイズが含まれており、状態追跡の精度を制限していた。IRWOZ 2.0は、LLMによる生成と品質改善を導入することで、このノイズを大幅に低減し、データセットの品質を向上させた点が優れている。また、対話数も拡張され、より多様な産業シナリオをカバーしている。

手法の核は、LLM（Mistral/Claude-3.5）を用いたデータ生成と品質改善である。具体的には、元のIRWOZデータを基に、LLMを使って対話状態と発話のノイズを修正し、新たな対話を生成する。さらに、手動による修正と自動タイポ除去を組み合わせることで、データの正確性と一貫性を高めている。これにより、対話状態追跡タスクに適した高品質なデータセットを構築している。

有効性の検証は、対話状態追跡のベンチマーク実験によって行われた。具体的には、GPT-2を用いた評価で、BLEU-4スコアが元のIRWOZと比較して0.1651から0.5604へと大幅に向上したことが報告されている。この結果は、データセットの品質改善がモデルの性能向上に寄与することを示している。

要旨からは、IRWOZ 2.0の限界や議論点は明示されていない。ただし、LLMによる生成データには潜在的なバイアスや誤りが含まれる可能性があり、手動修正が行われているものの、完全にノイズが除去されているわけではないかもしれない。また、データセットの規模（390対話）が限られているため、大規模なモデルの訓練には不十分な可能性も考えられるが、要旨からは不明である。

要旨で参照されている研究は、元のIRWOZデータセットと、使用されたLLM（Mistral, Claude-3.5）である。次に読むべき論文としては、IRWOZの元論文（IRWOZ: A Dialogue Dataset for Industrial Robot Conversations）や、対話状態追跡のベンチマークに関する研究（例: MultiWOZ）が挙げられる。また、LLMを用いたデータセット生成の手法に関する論文も関連する。