Aktivní učení pro rozpoznávání textu

Abstract

Cílem této práce je navrhnout metody aktivního učení a provést experimenty nad datovou sadou historických dokumentů. Pro experimenty využívám rozsáhlý a rozmanitý dataset IMPACT o více než jednom milionu řádků. Pomocí neuronových sítí provádím kontrolu vhodnosti řádků, tzn. čitelnosti a správnosti přepisů. Nejprve srovnávám architektury neuronových sítí, a to jak sítě čistě konvoluční, tak sítě obsahující obousměrnou rekurentní vrstvu LSTM. Dále se zabývám přístupy k učení neuronových sítí pomocí aktivního učení a samotnými metodami aktivního učení. Aktivní učení využívám zejména pro adaptaci neuronových sítí na jiné textové dokumenty, než na kterých byla původní síť učena. Aktivní učení tedy slouží k výběru vhodných adaptačních dat. Čistě konvoluční neuronové sítě dosahují úspěšnosti 98.6 %, rekurentní sítě pak 99.5 %. Chyba při adaptaci s využitím aktivního učení je o 26 % nižší než chyba při náhodném výběru dat.

The aim of this Master's thesis is to design methods of active learning and to experiment with datasets of historical documents. A large and diverse dataset IMPACT of more than one million lines is used for experiments. I am using neural networks to check the readability of lines and correctness of their annotations. Firstly, I compare architectures of convolutional and recurrent neural networks with bidirectional LSTM layer. Next, I study different ways of learning neural networks using methods of active learning. Mainly I use active learning to adapt neural networks to documents that the neural networks do not have in the original training dataset. Active learning is thus used for picking appropriate adaptation data. Convolutional neural networks achieve 98.6\% accuracy, recurrent neural networks achieve 99.5\% accuracy. Active learning decreases error by 26\% compared to random pick of adaptations data.