通過：AI生成音と再構成された時空間を巡る終わりなき旅

本論文は、単一の連続したモノレール車窓録画を時空間ボリュームとして再構成し、終わりのない旅を生成するインタラクティブな音響視覚インスタレーション「Passing」を紹介する。映像を線形に再生するのではなく、その空間的・時間的構造を非線形な軌跡に沿ってリサンプリングし、奥行き・速度・時間的順序が不安定になる連続的な風景を生み出す。カメラベースの視聴者存在検出システムが視聴ゾーン内の視聴者の有無を推定し、その存在状態がレンダリングされた映像シーケンス間の遷移に影響を与える。得られた映像ストリームはリアルタイムのvideo-to-audio合成モデルSpecMaskFoleyに入力され、再構成された映像に同期したsoundscapeを生成する。

要旨からは不明。従来のvideo-to-audio合成やインタラクティブインスタレーションとの具体的な比較は述べられていない。

技術の肝は、単一の連続したモノレール車窓録画を時空間ボリュームとして再構成し、空間的・時間的構造を非線形な軌跡に沿ってリサンプリングすることで、奥行き・速度・時間的順序が不安定な連続的風景を生成する点にある。さらに、カメラベースのviewer-presence detection systemが視聴ゾーン内の視聴者の有無を推定し、その存在状態がレンダリングされた映像シーケンス間の遷移に影響を与える。得られた映像ストリームはリアルタイムのvideo-to-audio合成モデルSpecMaskFoleyに入力され、同期したsoundscapeを生成する。SpecMaskFoleyは客観的に正しいsoundtrackを再構成するのではなく、speculative listenerとして機能し、従来の空間的・時間的前提が崩れた世界に対する可能な聴覚的解釈を提案する。

要旨からは不明。有効性の検証方法については述べられていない。

本作品は、時空間再構成の規則を定義するアーティスト、創発的な視覚フローを音として解釈するAIモデル、そして身体的存在が音響視覚的軌跡に影響を与える観客の間で創造的エージェンシーを分散させる。この構造を通じて、人間の意図、機械の推論、観客の解釈の間で著作者性と聴取がどのように交渉され得るかを探求する。

要旨で参照されているSpecMaskFoley。関連手法としてvideo-to-audio synthesis、audiovisual installation、spatiotemporal reconstructionが挙げられる。