Aktivní učení pro rozpoznávání textu
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cílem této práce je navrhnout metody aktivního učení a provést experimenty nad datovou sadou historických dokumentů. Pro experimenty využívám rozsáhlý a rozmanitý dataset IMPACT o více než jednom milionu řádků. Pomocí neuronových sítí provádím kontrolu vhodnosti řádků, tzn. čitelnosti a správnosti přepisů. Nejprve srovnávám architektury neuronových sítí, a to jak sítě čistě konvoluční, tak sítě obsahující obousměrnou rekurentní vrstvu LSTM. Dále se zabývám přístupy k učení neuronových sítí pomocí aktivního učení a samotnými metodami aktivního učení. Aktivní učení využívám zejména pro adaptaci neuronových sítí na jiné textové dokumenty, než na kterých byla původní síť učena. Aktivní učení tedy slouží k výběru vhodných adaptačních dat. Čistě konvoluční neuronové sítě dosahují úspěšnosti 98.6 %, rekurentní sítě pak 99.5 %. Chyba při adaptaci s využitím aktivního učení je o 26 % nižší než chyba při náhodném výběru dat.
The aim of this Master's thesis is to design methods of active learning and to experiment with datasets of historical documents. A large and diverse dataset IMPACT of more than one million lines is used for experiments. I am using neural networks to check the readability of lines and correctness of their annotations. Firstly, I compare architectures of convolutional and recurrent neural networks with bidirectional LSTM layer. Next, I study different ways of learning neural networks using methods of active learning. Mainly I use active learning to adapt neural networks to documents that the neural networks do not have in the original training dataset. Active learning is thus used for picking appropriate adaptation data. Convolutional neural networks achieve 98.6\% accuracy, recurrent neural networks achieve 99.5\% accuracy. Active learning decreases error by 26\% compared to random pick of adaptations data.
The aim of this Master's thesis is to design methods of active learning and to experiment with datasets of historical documents. A large and diverse dataset IMPACT of more than one million lines is used for experiments. I am using neural networks to check the readability of lines and correctness of their annotations. Firstly, I compare architectures of convolutional and recurrent neural networks with bidirectional LSTM layer. Next, I study different ways of learning neural networks using methods of active learning. Mainly I use active learning to adapt neural networks to documents that the neural networks do not have in the original training dataset. Active learning is thus used for picking appropriate adaptation data. Convolutional neural networks achieve 98.6\% accuracy, recurrent neural networks achieve 99.5\% accuracy. Active learning decreases error by 26\% compared to random pick of adaptations data.
Description
Citation
KOHÚT, J. Aktivní učení pro rozpoznávání textu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Inteligentní systémy
Comittee
doc. Ing. František Zbořil, CSc. (předseda)
doc. Ing. Vladimír Janoušek, Ph.D. (místopředseda)
Ing. Vítězslav Beran, Ph.D. (člen)
doc. RNDr. Aleš Horák, Ph.D. (člen)
Ing. Martin Hrubý, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Date of acceptance
2019-06-19
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Kolik hodin jste strávil manuální anotací s aktivním učením? Jak rozezná CTC (Connectionist Temporal Classification) opakovaná písmena? Např.: met vs meet Jak proporce rozdílu validační a trénovací chybou v rovnici 4.1 zachycuje míru přetrénovanosti? Popište Obraz 6.7. Jaký si z něj čtenář má odnést poznatek?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení