何が起きたか

2024年9月3日にnature.comで発表された研究で、MAVAは教師なし・オンライン学習が可能で、計算時間が短く、環境ノイズに対して頑健であり、様々なノイズ条件下で他の人工モデルよりも音声源検出で優れた性能を示した。

なぜ重要か

乳児が口元の動きと音声を結びつける注意のはたらきを手がかりに、ロボット向けの音声・映像モデルMAVAを設計した点が重要です。研究では、口の位置を見つける課題で外部の視覚的な乱れや雑音を加えた条件でも評価しており、音声源の検出対象と条件が明確です。