Hyper-optimalizace neuronových sítí založená na Gaussovských procesech

but.committeeprof. Ing. Adam Herout, Ph.D. (předseda) doc. Ing. Lukáš Burget, Ph.D. (místopředseda) Ing. Vítězslav Beran, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen)cs
but.defenceStudent nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Z jaké práce jste vycházel? Jak jsou Vaše výstupy použitelné v praxi? Je Vaše práce někde nasazená?cs
but.jazykangličtina (English)
but.programInformační technologiecs
but.resultpráce byla úspěšně obhájenacs
dc.contributor.advisorBeneš, Karelen
dc.contributor.authorCoufal, Martinen
dc.contributor.refereeLandini, Federico Nicolásen
dc.date.accessioned2020-07-20T19:57:52Z
dc.date.available2020-07-20T19:57:52Z
dc.date.created2020cs
dc.description.abstractCílem této diplomové práce je vytvoření nástroje pro optimalizaci hyper-parametrů umělých neuronových sítí. Tento nástroj musí být schopen optimalizovat více hyper-parametrů, které mohou být navíc i korelovány. Tento problém jsem vyřešil implmentací optimalizátoru, který využívá Gaussovské procesy k predikci vlivu jednotlivých hyperparametrů na výslednou přesnost neuronové sítě. Z provedených experimentů na několika benchmark funkcích jsem zjistil, že implementovaný nástroj je schopen dosáhnout lepších výsledků než optimalizátory založené na náhodném prohledávání a snížit tak v průměru počet potřebných kroků optimalizace. Optimalizace založená na náhodném prohledávání dosáhla lepších výsledků pouze v prvních krocích optimalizace, než si optimalizátor založený na Gaussovských procesech vytvoří dostatečně přesný model problému. Nicméně téměř všechny experimenty provedené na datasetu MNIST prokázaly lepší výsledky optimalizátoru založeného na náhodném prohledávání. Tyto rozdíly v provedených experimentech jsou pravděpodobně dány složitostí zvolených benchmark funkcí nebo zvolenými parametry implementovaného optimalizátoru.en
dc.description.abstractThe goal of this thesis is to create a lightweight toolkit for artificial neural network hyper-parameter optimisation. The optimisation toolkit has to be able to optimise multiple, possibly correlated hyper-parameters. I solved this problem by creating an optimiser that uses Gaussian processes to predict the influence of the hyper-parameters on the resulting neural network accuracy. Based on the experiments on multiple benchmark functions, the toolkit is able to provide better results than random search optimisation and thus reduce the number of necessary optimisation steps. The random search optimisation provided better results only in the first few optimisation steps before Gaussian process optimisation creates sufficient model of the problem. However the experiments on MNIST dataset show that random optimisation achieves almost always better results than used GP optimiser. These differences between the experiments results are probably caused by insufficient complexity of the benchmarks or by selected parameters of the implemented optimiser.cs
dc.description.markAcs
dc.identifier.citationCOUFAL, M. Hyper-optimalizace neuronových sítí založená na Gaussovských procesech [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2020.cs
dc.identifier.other129270cs
dc.identifier.urihttp://hdl.handle.net/11012/192452
dc.language.isoencs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectoptimalizace hyper-parametrůen
dc.subjectGaussovské procesyen
dc.subjectoptimalizace neuronových sítíen
dc.subjectřešení regresních problémůen
dc.subjectkernelyen
dc.subjecthyper-parameter tuningcs
dc.subjectGaussian processescs
dc.subjectneural networks optimisationcs
dc.subjectregression problem solvingcs
dc.subjectkernelscs
dc.titleHyper-optimalizace neuronových sítí založená na Gaussovských procesechen
dc.title.alternativeGaussian Processes Based Hyper-Optimization of Neural Networkscs
dc.typeTextcs
dc.type.drivermasterThesisen
dc.type.evskpdiplomová prácecs
dcterms.dateAccepted2020-07-17cs
dcterms.modified2020-07-17-14:44:57cs
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
sync.item.dbid129270en
sync.item.dbtypeZPen
sync.item.insts2021.11.12 20:14:22en
sync.item.modts2021.11.12 19:21:51en
thesis.disciplineInteligentní systémycs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelInženýrskýcs
thesis.nameIng.cs
Files
Original bundle
Now showing 1 - 4 of 4
Loading...
Thumbnail Image
Name:
final-thesis.pdf
Size:
2.52 MB
Format:
Adobe Portable Document Format
Description:
final-thesis.pdf
Loading...
Thumbnail Image
Name:
Posudek-Vedouci prace-22368_v.pdf
Size:
85.6 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Vedouci prace-22368_v.pdf
Loading...
Thumbnail Image
Name:
Posudek-Oponent prace-22368_o.pdf
Size:
86.07 KB
Format:
Adobe Portable Document Format
Description:
Posudek-Oponent prace-22368_o.pdf
Loading...
Thumbnail Image
Name:
review_129270.html
Size:
1.48 KB
Format:
Hypertext Markup Language
Description:
review_129270.html
Collections