• čeština
    • English
    • русский
  • English 
    • čeština
    • English
    • русский
  • Login
View Item 
  •   Repository Home
  • Závěrečné práce
  • diplomové práce
  • Fakulta informačních technologií
  • 2016
  • View Item
  •   Repository Home
  • Závěrečné práce
  • diplomové práce
  • Fakulta informačních technologií
  • 2016
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Zobrazení a analýza aktivit neuronové sítě ve skrytých vrstvách

Activity of Neural Network in Hidden Layers - Visualisation and Analysis

Thumbnail
View/Open
final-thesis.pdf (7.574Mb)
Posudek-Oponent prace-18497_o.pdf (88.45Kb)
Posudek-Vedouci prace-18497_v.pdf (85.65Kb)
review_96418.html (1.468Kb)
Author
Fábry, Marko
Advisor
Karafiát, Martin
Referee
Grézl, František
Grade
B
Altmetrics
Metadata
Show full item record
Abstract
Cílem této práce je vytvořit systém schopný zobrazení hodnot aktivačních funkcí neuronů nacházejících se v skrytých vrstvách neuronových sítí použitých na rozpoznávání řeči. Dále byly na tomto systému provedeny experimenty porovnávající vizualizační metody, vizualizace neuronových sítí s různými architekturami a s různými druhy vstupních dat. Vizualizační systém implementovaný v rámci této práce je založen na předchozí práci pana Khe Chai Sim a rozšířen o nové způsoby normalizace vstupních dat. Pro přípravu trénovacích dat neuronových sítí byl použit framework Kaldi. Pro samotné trénování neuronových sítí byl použit nový framework CNTK. Jádro práce - samotný vizualizační systém byl implementován v skriptovacím jazyce Python.
 
Goal of this work was to create system capable of visualisation of activation function values, which were produced by neurons placed in hidden layers of neural networks used for speech recognition. In this work are also described experiments comparing methods for visualisation, visualisations of neural networks with different architectures and neural networks trained with different types of input data. Visualisation system implemented in this work is based on previous work of Mr. Khe Chai Sim and extended with new methods of data normalization. Kaldi toolkit was used for neural network training data preparation. CNTK framework was used for neural network training. Core of this work - the visualisation system was implemented in scripting language Python.
 
Keywords
hluboká neuronová síť, skrytá vrstva, rozpoznávání řeči, vizualizace, analýza, aktivace, t-SNE, Kaldi, CNTK, deep neural network, hidden layer, speech recognition, visualisation, analysis, activations, t-SNE, Kaldi, CNTK
Language
čeština (Czech)
Study brunch
Počítačová grafika a multimédia
Composition of Committee
doc. Dr. Ing. Jan Černocký (předseda) prof. Ing. Adam Herout, Ph.D. (místopředseda) Ing. Vítězslav Beran, Ph.D. (člen) doc. Dr. Ing. Dušan Kolář (člen) Doc. RNDr. Pavel Matula, Ph.D. (člen) prof. RNDr. Alexandr Meduna, CSc. (člen)
Date of defence
2016-06-17
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm velmi dobře (B). Otázky u obhajoby: Je možné zobrazit originální a normované zobrazení do stejného prostoru, aby bylo možné porovnat velikost aktivačních regionů které budou na stejných místech (obrázky 6.1 a 6.2)? Prostor pro LSTM NN  je značně zkreslen. Zkoušel jste zobrazit aktivační mapy samostatně pro LSTM a případně je porovnat s mapami pro ostatní NN? V práci poukazujete na podobnost aktivací posledních vrstev normální NN s prvními vrstvami RELU NN. Dá se z tohoto pozorování vyvodit, že by RELU NN fungovala s méně vrstvami podobně jako normální NN s více vrstvami? Tabulka 6.3 porovnává chybovost dosaženou z použitím neuronové sítě trénované na čistých a zašuměných datech. Měnil jste "word insertion penalty" sytému, aby jste dosáhl optimálních výsledků?
Result of the defence
práce byla úspěšně obhájena
Persistent identifier
http://hdl.handle.net/11012/61891
Source
FÁBRY, M. Zobrazení a analýza aktivit neuronové sítě ve skrytých vrstvách [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2016.
Collections
  • 2016 [190]
Citace PRO

Portal of libraries | Central library on Facebook
DSpace software copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback | Theme by @mire NV
 

 

Browse

All of repositoryCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsThis CollectionBy Issue DateAuthorsTitlesSubjects

My Account

LoginRegister

Statistics

View Usage Statistics

Portal of libraries | Central library on Facebook
DSpace software copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback | Theme by @mire NV