ロボットが聞き間違えるとき：音声操作型具現化AIの安全リスクのマッピング

本論文は、ユーザー入力における自動音声認識（ASR）エラーが、具現化AI（EAI）モデルの安全でない出力につながるかどうかを調査した研究である。ASRエラーをシミュレートし、既存の安全ベンチマーク（SafeAgentBenchとPOEX）と組み合わせて、異なるエラーがEAIの安全性にどのように影響するかを評価している。

先行研究では、ASRエラーが音声認識システム自体の性能に与える影響や、テキストベースのAIモデルの安全性が主に研究されてきた。本研究は、ASRエラーがEAIモデルの安全性に与える影響を初めて体系的に評価した点が新しい。特に、ASRエラーが有害な指示の受け入れや実行につながることを示し、EAIの安全性における音声入力の脆弱性を明らかにした。

手法の肝は、ASRエラーをシミュレートしてEAIモデルに入力し、その安全性を評価するパイプラインを構築した点である。具体的には、既存の安全ベンチマーク（SafeAgentBenchとPOEX）を使用し、ASRエラーを注入した入力に対するEAIモデルの応答を分析している。また、ASRエラーの種類（意味構造を保つが有害な曖昧性を増すもの、モデルの拒否行動を弱めるものなど）を分類し、それぞれの影響を評価している。さらに、ASRエラーの自動修正がリスクを低減できる場合があるが、常に有効ではないことも示している。

有効性の検証は、SafeAgentBenchとPOEXのベンチマークを用いて、ASRエラーをシミュレートした入力に対するEAIモデルの安全性を評価することで行った。具体的には、ASRエラーが有害な指示の受け入れや実行につながるケースを特定し、エラーの種類ごとに安全性への影響を定量的に分析している。また、自動修正の効果についても検証し、その限界を示している。

議論としては、ASRエラーがEAIの安全性に重大なリスクをもたらすことが示されたが、自動修正が常に有効ではないため、より堅牢な音声入力処理や安全機構の必要性が示唆される。また、本研究はシミュレートされたASRエラーを用いており、実際のASRシステムのエラー分布とは異なる可能性がある。さらに、EAIモデルの安全性評価はベンチマークに依存しており、実世界の多様なシナリオを完全にはカバーしていない可能性がある。

次に読むべき論文としては、SafeAgentBenchとPOEXの元論文が挙げられる。また、ASRエラーのシミュレーション手法や、EAIの安全性に関する他の研究も関連する。具体的には、SafeAgentBenchを提案した論文、POEXを提案した論文、およびASRエラーの影響を研究した音声認識分野の論文が参考になる。