Modelování zvukových signálů pomocí neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Neuronové sítě vycházející z architektury WaveNet a sítě využívající rekurentní vrstvy jsou v současnosti používány jak pro syntézu lidské řeči, tak pro „black box“ modelování systémů pro úpravu akustického signálu – modulační efekty, nelineární zkreslovače apod. Úkolem studenta bude shrnout dosavadní poznatky o možnostech využití neuronových sítí při modelování akustických signálů. Student dále implementuje některý z modelů neuronových sítí v programovacím jazyce Python a využije jej pro natrénování a následnou simulaci libovolného efektu nebo systému pro úpravu akustického signálu. V rámci semestrální práce vypracujte teoretickou část práce, vytvořte zvukovou databázi pro trénování neuronové sítě a implementujte jednu ze struktur sítí pro modelování zvukového signálu. Neuronové sítě jsou v průběhu posledních let používány stále více, a to víceméně přes celé spektrum vědních oborů. Neuronové sítě založené na architektuře WaveNet a sítě využívající rekurentních vrstev se v současné době používají v celé řadě využití, zahrnující například syntézu lidské řeči, nebo napřklad při metodě "black-box" modelování akustických systémů, které upravují zvukový signál (modulačí efekty, nelineární zkreslovače, apod.). Tato akademická práce si dává za cíl poskytnout úvod do problematiky neuronových sítí, vysvětlit základní pojmy a mechanismy této problematiky. Popsat využití neuronových sítí v modelování akustických systémů a využít těchto poznatků k implementaci neuronových sítí za cílem modelování libovolného efektu nebo zařízení pro úpravu zvukového signálu.
Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This work aims, to sum up existing methods of neural network use in acoustic signal modeling. Next, the student is to implement chosen model of neuron network Python and will train this architecture to perform a simulation of desirable sound effect or acoustic alteration system. The task for this semester is, to sum up existing knowledge concerning neural networks. Training database of sound samples and implementation of a sound modeling neural net is to be created as well. Through recent years, neural networks have been used more and more extensively across many science fields. Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This academic work provides a brief introduction to the neural network terminology and common practice, elaborates on several types of neural network types, the main focus on DeepMind's WaveNet. Furthermore describes and compares results of experimental implementation of WaveNet and other types of neural network in audio signal "black-box" modeling tasks.
Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This work aims, to sum up existing methods of neural network use in acoustic signal modeling. Next, the student is to implement chosen model of neuron network Python and will train this architecture to perform a simulation of desirable sound effect or acoustic alteration system. The task for this semester is, to sum up existing knowledge concerning neural networks. Training database of sound samples and implementation of a sound modeling neural net is to be created as well. Through recent years, neural networks have been used more and more extensively across many science fields. Neural networks based upon the WaveNet architecture and recurrent neural networks are nowadays used in human speech synthesis and other various tasks such as "black-box" modeling systems for acoustic signals alteration (modulation effects, non-linear distortion units, etc.). This academic work provides a brief introduction to the neural network terminology and common practice, elaborates on several types of neural network types, the main focus on DeepMind's WaveNet. Furthermore describes and compares results of experimental implementation of WaveNet and other types of neural network in audio signal "black-box" modeling tasks.
Description
Keywords
modelování, black-box, WaveNet, hluboké učení, neuronové sítě, rekurentní neuronové sítě, dopředné neuronové sítě, nelineární zkreslení, modulační efekty, modeling, black-box, WaveNet, deep learning, neural networks, recurrent neural networks, feedforward neural networks, non-linear distortion, modulation effects
Citation
PEŠÁN, M. Modelování zvukových signálů pomocí neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2021.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Zvuková produkce a nahrávání
Comittee
doc. Ing. Kamil Říha, Ph.D. (předseda)
doc. Ing. MgA. Mgr. Dan Dlouhý, Ph.D. (místopředseda)
MgA. Mgr. Ondřej Jirásek, Ph.D. (člen)
Ing. Petr Honzík, Ph.D. (člen)
doc. Ing. Petr Sysel, Ph.D. (člen)
Mgr. Tomáš Staudek, Ph.D. (člen)
Date of acceptance
2021-06-10
Defence
Studentka prezentovala výsledky své práce a komise byla seznámena s posudky.
Otázky oponenta: Čím můžete odůvodnit, že plně propojená síť dosáhla lepších výsledků než modernější TCN? (což nekoresponduje s poznatky nejnovějších studií) Kolik epoch jste zvolila při trénování a jak byl tento parametr vybrán? Hodí se některá z implementací pro zpracování v reálném čase?
Studentka obhájila diplomovou práci a odpověděla na otázky členů komise a oponenta.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení