Prořezávání hlubokých neuronových sítí pro rozpoznávání textu
Deep Neural Network Pruning for Text Recognition

Author
Advisor
Kišš, MartinReferee
Hradiš, MichalGrade
CAltmetrics
Metadata
Show full item recordAbstract
Dokument predstavuje prácu na prerezávanie neurónovej siete slúžiacej na rozpoznávanie ručne písaného textu. Cieľom práce je vytvoriť program na prerezávanie danej siete. Prerezávali sme dva typy neurónových sieti a to konvolučné a rekurentné neurónové siete. Pri prerezávaní konvolučnej časti bolo experimentované s rôznymi kritériami výberu parametrov. Výsledkom práce je model, ktorý dosahuje 20% zrýchlenie pri znížení presnosti siete iba o 0.4%, ale aj množstvo iných modelov, ktoré sú rýchlejšie ale nadobúdajú aj vyššej nepresnosti. This document is a work on pruning neural network for handwriting recognition. The aim of the work is to create a program for pruning the network. We prune two types of neural networks, namely convolutional and recurrent neural networks. During the pruning of the convolution part, various criteria of parameter selection were experimented with. The result of the work is a model that achieves 20% acceleration while increasing the network inaccuracy by only 0.4%, but also a number of other models that are faster but also acquire higher inaccuracies.
Keywords
Neurónové siete, CNN, RNN, Pytorch, OCR, prerezávanie, Neural networks, CNN, RNN, Pytorch, OCR, pruningLanguage
čeština (Czech)Study brunch
Informační technologieComposition of Committee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda) doc. Ing. Lukáš Burget, Ph.D. (místopředseda) doc. Mgr. Lukáš Holík, Ph.D. (člen) Ing. Tomáš Martínek, Ph.D. (člen) doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)Date of defence
2022-06-14Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: Při prořezávání se jde od začátku sítě? Statistiky pro prořezání filtrů (L1, L2, std) se počítají i z kanálů filtru, které již byly prořezané v předchozí vrstvě? Jak je důležité L1, L2, std, když na výstupy konvolučních vrstev jsou aplikovány normalizační vrstvy, které můžou každý kanál libovolně škálovat? Jaké je vaše vysvětlení nízké úspěšnosti sítí s prořezanými rekurentními vrstvami? Jak jsou v modelu tyto čtyři vrstvy propojené? Respektujete toto propojení při prořezávání?Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/207349Source
PETRÁŠ, S. Prořezávání hlubokých neuronových sítí pro rozpoznávání textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.Collections
- 2022 [309]