• čeština
    • English
    • русский
  • English 
    • čeština
    • English
    • русский
  • Login
View Item 
  •   Repository Home
  • Závěrečné práce
  • bakalářské práce
  • Fakulta informačních technologií
  • 2015
  • View Item
  •   Repository Home
  • Závěrečné práce
  • bakalářské práce
  • Fakulta informačních technologií
  • 2015
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

Aplikace metody Mean Normalized Stochastic Gradient Descent pro rozpoznávání řeči

Application of Mean Normalized Stochastic Gradient Descent for Speech Recognition

Thumbnail
View/Open
final-thesis.pdf (629.0Kb)
Posudek-Oponent prace-17867_o.pdf (90.67Kb)
Posudek-Vedouci prace-17867_v.pdf (85.15Kb)
review_88508.html (1.480Kb)
Author
Klusáček, Jan
Advisor
Pešán, Jan
Referee
Hradiš, Michal
Grade
A
Altmetrics
Metadata
Show full item record
Abstract
Umělé neuronové sítě jsou v posledních letech na vzestupu. Jednou z možných optimalizačních technik je mean-normalized stochastic gradient descent, který navrhli Wiesler a spol. [1]. Tato práce dále vysvětluje a zkoumá tuto metodu na problému klasifikace fonémů. Ne všechny závěry Wieslera a spol. byly potvrzeny. Mean-normalized SGD je vhodné použít pouze pokud je síť dostatečně velká, nepříliš hluboká a pracuje-li se sigmoidou jako nelineárním prvkem. V ostatních případech mean-normalized SGD mírně zhoršuje výkon neuronové sítě. Proto nemůže být doporučena jako obecná optimalizační technika. [1] Simon Wiesler, Alexander Richard, Ralf Schluter, and Hermann Ney. Mean-normalized stochastic gradient for large-scale deep learning. In Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on, pages 180{184. IEEE, 2014.
 
The artificial neural networks are on the rise in recent years. One possible optimization technique is mean-normalized stochastic gradient descent recently proposes by Wiesler et al. [1]. This work further explains and examines this method on phoneme classification task. Not all findings of Wiesler et al. can be confirmed. The mean-normalized SGD is helpful only if the network is large enough (but not too deep) and if the sigmoid non-linear function is used. Otherwise, the mean-normalized SGD slightly impairs the network performance and therefore cannot be recommended as a general optimization technique. [1] Simon Wiesler, Alexander Richard, Ralf Schluter, and Hermann Ney. Mean-normalized stochastic gradient for large-scale deep learning. In Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on, pages 180{184. IEEE, 2014.
 
Keywords
Neuronové sítě, strojové učení, rozpoznávání řeči, stochastic gradient descent., Neural networks, machine learning, speech recognition, deep learning, stochastic gradient descent.
Language
angličtina (English)
Study brunch
Informační technologie
Composition of Committee
doc. Dr. Ing. Jan Černocký (předseda) doc. Ing. Zdeněk Kotásek, CSc. (místopředseda) doc. Ing. Lukáš Burget, Ph.D. (člen) Ing. Radek Kočí, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen)
Date of defence
2015-06-17
Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Má smysl vyhodnocovat generalizaci (validační chybu) při porovnávání různých optimalizačních algoritmů? Chovají se modely trénované pomocí mean normalized SGD odlišně v nějakém ohledu, který by měl mít vliv na generalizaci? V 4.2.3 píšete, že průměrné hodnoty aktivací neuronů s tanh aktivačními funkcemi jsou pravděpodobně blízké nule. Můžete toto tvrzení ověřit? Jak si vysvětlujete, že bottleneck sítě se sigmoidami se trénují hůře než sítě s tanh? Pozoroval jste nějaký rozdíl (například v hodnotách gradientů), který by tento rozdíl vysvětlil? 
Result of the defence
práce byla úspěšně obhájena
Persistent identifier
http://hdl.handle.net/11012/52532
Source
KLUSÁČEK, J. Aplikace metody Mean Normalized Stochastic Gradient Descent pro rozpoznávání řeči [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2015.
Collections
  • 2015 [295]
Citace PRO

Portal of libraries | Central library on Facebook
DSpace software copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback | Theme by @mire NV
 

 

Browse

All of repositoryCommunities & CollectionsBy Issue DateAuthorsTitlesSubjectsThis CollectionBy Issue DateAuthorsTitlesSubjects

My Account

LoginRegister

Statistics

View Usage Statistics

Portal of libraries | Central library on Facebook
DSpace software copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback | Theme by @mire NV