Sonifikace videa pomocí technik umělé inteligence

Abstract

Táto práca sa zaoberá sonifikáciou videa – prevodom obrazu na zvuk. Jej cieľom je využitie moderných techník počítačového videnia založených na umelej inteligencii pre vytvorenie systému schopného algoritmickej tvorby zvuku použiteľného v umeleckom kontexte. Sústredí sa na oblasti sound artu, algoritmickej kompozície a generatívnej hudby. Súčasťou práce je implementácia modulárneho sonifikačného systému v jazyku Python využívajúceho moderný detektor objektov YOLOv7 spolu s algoritmom pre sledovanie viacerých objektov z knižnice Norfair. Princíp je založený na systematickom prideľovaní zvukových objektov sledovaným objektom vo videu. Zvuk je tvorený prostredníctvom platformy SuperCollider a jej API pre Python s názvom Supriya, využívajúc rozličné typy zvukovej syntézy spolu s automatizovane vytvorenou databankou zvukov.

This thesis deals with the topic of video sonification – the transformation of image into sound. It aims to use state-of-the-art techniques of computer vision based on artificial intelligence to create a system capable of algorithmic sound creation applicable in the art context. The focus is put on the fields of sound art, algorithmic composition and generative music. The thesis includes an implementation of a modular sonification system which utilizes the modern object detector YOLOv7 along with a multiple object tracking algorithm (implemented in the library Norfair), built using the programming language Python. The fundementals of the system lie in systematic assignment of sound objects to objects tracked in the video. The sound creation relies on the SuperCollider platform using the Python API Supriya, incorporating various methods of sound synthesis along with a programmatically created sound database.