Show simple item record

Parallel Training of Neural Networks for Speech Recognition

dc.contributor.advisorBurget, Lukášcs
dc.contributor.authorVeselý, Karelcs
dc.date.accessioned2019-04-03T22:27:22Z
dc.date.available2019-04-03T22:27:22Z
dc.date.created2010cs
dc.identifier.citationVESELÝ, K. Paralelní trénování neuronových sítí pro rozpoznávání řeči [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2010.cs
dc.identifier.other35005cs
dc.identifier.urihttp://hdl.handle.net/11012/54327
dc.description.abstractTato diplomová práce je zaměřena na paralelizaci trénování neuronových sítí pro rozpoznávání řeči. V rámci této diplomové práce byly implementovány a porovnány dvě strategie paralelizace. První strategií je paralelizace dat s využitím rozdělení trénování do několika POSIX vláken. Druhou strategií je paralelizace uzlů s využitím platformy pro obecné výpočty na grafických kartách CUDA. V případě první strategie bylo dosaženo 4x urychlení, v případě využití platformy CUDA bylo dosaženo téměř 10x urychlení. Pro trénování byl použit algoritmus Stochastic Gradient Descent se zpětným šířením chyb. Po krátkém úvodu následuje druhá kapitola práce, která je motivační a zasazuje probém do kontextu rozpoznávání řeči. Třetí kapitola práce je teoretická a diskutuje neuronové sítě a metodu trénování. Následující kapitoly jsou zaměřené na návrh a implementaci a popisují iterativní vývoj tohoto projektu. Poslední obsáhlá kapitola popisuje testovací systém a uvádí výsledky provedených experimentů. V závěru jsou krátce zhodnoceny dosažené výsledky a nastíněna perspektiva dalšího vývoje projektu.cs
dc.description.abstractThis thesis deals with different parallelizations of training procedure for artificial neural networks. The networks are trained as phoneme-state acoustic descriptors for speech recognition. Two effective parallelization strategies were implemented and compared. The first strategy is data parallelization, where the training is split into several POSIX threads. The second strategy is node parallelization, which uses CUDA framework for general purpose computing on modern graphic cards. The first strategy showed a 4x speed-up, while using the second strategy we observed nearly 10x speed-up. The Stochastic Gradient Descent algorithm with error backpropagation was used for the training. After a short introduction, the second chapter of this thesis shows the motivation and introduces the neural networks into the context of speech recognition. The third chapter is theoretical, the anatomy of a neural network and the used training method are discussed. The following chapters are focused on the design and implementation of the project, while the phases of the iterative development are described. The last extensive chapter describes the setup of the testing system and reports the experimental results. Finally, the obtained results are concluded and the possible extensions of the project are proposed.en
dc.language.isocscs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectneuronová síťcs
dc.subjectakustický modelcs
dc.subjectrozpoznávání řečics
dc.subjectrychlé trénovánícs
dc.subjectparalelizace datcs
dc.subjectPOSIX vláknacs
dc.subjectparalelizace uzlůcs
dc.subjectCUDAcs
dc.subjectGPGPUcs
dc.subjectneural networken
dc.subjectacoustic modelen
dc.subjectspeech recognitionen
dc.subjectfast trainingen
dc.subjectdata parallelizationen
dc.subjectPOSIX threadsen
dc.subjectnode parallelizationen
dc.subjectCUDAen
dc.subjectGPGPUen
dc.titleParalelní trénování neuronových sítí pro rozpoznávání řečics
dc.title.alternativeParallel Training of Neural Networks for Speech Recognitionen
dc.typeTextcs
dcterms.dateAccepted2010-06-24cs
dcterms.modified2020-05-09-23:42:19cs
thesis.disciplinePočítačová grafika a multimédiacs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelInženýrskýcs
thesis.nameIng.cs
sync.item.dbid35005en
sync.item.dbtypeZPen
sync.item.insts2020.06.23 10:15:02en
sync.item.modts2020.06.23 09:09:00en
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
dc.contributor.refereeFousek, Petrcs
dc.description.markAcs
dc.type.drivermasterThesisen
dc.type.evskpdiplomová prácecs
but.committeeprof. Dr. Ing. Pavel Zemčík (předseda) prof. RNDr. Milan Češka, CSc. (místopředseda) Ing. Vladimír Bartík, Ph.D. (člen) doc. Ing. Peter Chudý, Ph.D., MBA (člen) doc. Ing. Stanislav Racek, CSc. (člen) doc. RNDr. Pavel Smrž, Ph.D. (člen)cs
but.defenceStudent nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se pak seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: V CUDA implementaci jste přesunuli část parametrizace z CPU na GPU s tím, že dvě CPU vlákna představují úzké hrdlo výpočtu. Kdybychom použili výkonnější CPU s více jádry, mělo by smysl vrátit parametrizaci zpět na CPU? Představuje konkrétní typ grafické karty specifické omezení na topologii trénované sítě? Je možné vyhodnotit využití potenciálu GPU v závislosti na úloze? Pokud bychom měli k dispozici mnohojádrový počítač s jedinou výkonnou grafickou kartou, bylo by možné tuto kartu sdílet více paralelními tréninky bez ztráty výkonnosti?cs
but.resultpráce byla úspěšně obhájenacs
but.programInformační technologiecs
but.jazykčeština (Czech)


Files in this item

Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record