Zobrazení a analýza aktivit neuronové sítě ve skrytých vrstvách
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této práce je vytvořit systém schopný zobrazení hodnot aktivačních funkcí neuronů nacházejících se v skrytých vrstvách neuronových sítí použitých na rozpoznávání řeči. Dále byly na tomto systému provedeny experimenty porovnávající vizualizační metody, vizualizace neuronových sítí s různými architekturami a s různými druhy vstupních dat. Vizualizační systém implementovaný v rámci této práce je založen na předchozí práci pana Khe Chai Sim a rozšířen o nové způsoby normalizace vstupních dat. Pro přípravu trénovacích dat neuronových sítí byl použit framework Kaldi. Pro samotné trénování neuronových sítí byl použit nový framework CNTK. Jádro práce - samotný vizualizační systém byl implementován v skriptovacím jazyce Python.
Goal of this work was to create system capable of visualisation of activation function values, which were produced by neurons placed in hidden layers of neural networks used for speech recognition. In this work are also described experiments comparing methods for visualisation, visualisations of neural networks with different architectures and neural networks trained with different types of input data. Visualisation system implemented in this work is based on previous work of Mr. Khe Chai Sim and extended with new methods of data normalization. Kaldi toolkit was used for neural network training data preparation. CNTK framework was used for neural network training. Core of this work - the visualisation system was implemented in scripting language Python.
Goal of this work was to create system capable of visualisation of activation function values, which were produced by neurons placed in hidden layers of neural networks used for speech recognition. In this work are also described experiments comparing methods for visualisation, visualisations of neural networks with different architectures and neural networks trained with different types of input data. Visualisation system implemented in this work is based on previous work of Mr. Khe Chai Sim and extended with new methods of data normalization. Kaldi toolkit was used for neural network training data preparation. CNTK framework was used for neural network training. Core of this work - the visualisation system was implemented in scripting language Python.
Description
Citation
FÁBRY, M. Zobrazení a analýza aktivit neuronové sítě ve skrytých vrstvách [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2016.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Počítačová grafika a multimédia
Comittee
doc. Dr. Ing. Jan Černocký (předseda)
prof. Ing. Adam Herout, Ph.D. (místopředseda)
Ing. Vítězslav Beran, Ph.D. (člen)
doc. Dr. Ing. Dušan Kolář (člen)
Doc. RNDr. Pavel Matula, Ph.D. (člen)
prof. RNDr. Alexandr Meduna, CSc. (člen)
Date of acceptance
2016-06-17
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm velmi dobře (B). Otázky u obhajoby: Je možné zobrazit originální a normované zobrazení do stejného prostoru, aby bylo možné porovnat velikost aktivačních regionů které budou na stejných místech (obrázky 6.1 a 6.2)? Prostor pro LSTM NN je značně zkreslen. Zkoušel jste zobrazit aktivační mapy samostatně pro LSTM a případně je porovnat s mapami pro ostatní NN? V práci poukazujete na podobnost aktivací posledních vrstev normální NN s prvními vrstvami RELU NN. Dá se z tohoto pozorování vyvodit, že by RELU NN fungovala s méně vrstvami podobně jako normální NN s více vrstvami? Tabulka 6.3 porovnává chybovost dosaženou z použitím neuronové sítě trénované na čistých a zašuměných datech. Měnil jste "word insertion penalty" sytému, aby jste dosáhl optimálních výsledků?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení