Restaurace obrazu konvolučními neuronovými sítěmi

Abstract

Tématem práce je použití konvolučních neuronových sítí pro obecnou restauraci obrazu. Ta se typicky provádí za pomoci specializovaných metod pro konkrétní typ poškození. Model konvoluční sítě zde představuje jednotný přístup, který je aplikován na dva různé typy degradace obrazu, pohybem rozmazané snímky registračních značek a artefakty vznikající vysokou kompresí. Na modely konvolučních sítí je nahlíženo ze dvou úhlů. A to jak dobře si konvoluční sítě vedou v porovnání se současnými metodami pro restauraci konkrétního typu poškození a jak velký rozsah poškození je právě jeden model ještě schopen zpracovat. Klasické metody jsou charakteristické svým úzkým zaměřením na konkrétní typ poškození. Díky své specializaci tyto metody dosahují velmi dobrých výsledků a reprezentují tak dosažené poznání v oboru. Naproti tomu je představena myšlenka jednotného přístupu, tedy mapování poškozeného obrazu přímo na restaurovaný obraz. Ta je primárně ovlivněna současným vývojem konvolučních neuronových sítí a jejich hlubokého učení v počítačovém vidění. Právě učením konvoluční sítě lze jednoduše získat model zaměřený na konkrétní typ poškození. Ten je současně nezřídka schopen pokrýt širokou škálu úrovní konkrétního poškození. V práci je představena metoda přímého mapování z rozmazaného na ostrý obraz pro restauraci pohybem rozmazaných snímků. Ta je odvozena od modelů využívaných v počítačovém vidění pro sémantickou segmentaci obrazu. V případě odstranění kompresních artefaktů je tento přístup rozšířen o specifické učení modelu a různé modifikace samotné architektury sítě. Modely konvolučních sítí v porovnání s tradičními metodami dosahují kvalitativně lepších výsledků. Zároveň se zde představené modely jednoduše vypořádají s širokým rozsahem konkrétního poškození. Ukazuje se tak, že právě modely konvolučních sítí by mohly reprezentovat jednotný přístup pro restauraci různých typů poškozeni.

A merit of this thesis is to introduce a unified image restoration approach based on a convolutional neural network which is to some degree degradation type independent. Convolutional neural network models were trained for two different tasks, a motion deblurring of license plate images and a removal of artifacts related to lossy image compression. The capabilities of such models are studied from two main perspectives. Firstly, how well the model can restore an image compared to the state-of-the-art methods. Secondly, what is the model's ability to handle several ranges of the same degradation type. An idea of the unified end-to-end approach is based on a recent development of neural networks and related deep learning in a field of computer vision. The existing hand-engineered methods of image restoration are often highly specialized for a given degradation type and in fact, define state of the art in several image restoration tasks. The end-to-end approach allows to directly train the required model on specifically corrupted images, and, further, to restore various levels of corruption with a single model. For motion deblurring, the end-to-end mapping model derived from models used in computer vision is deployed. Compression artifacts are restored with similar end-to-end based model further enhanced using specialized objective functions together with a network skip architecture. A direct comparison of the convolutional network based models and engineered methods shows that the data-driven approach provides beyond state-of-the-art results with a high ability to generalize over different levels of degradations. Based on the achieved results, this work presents the convolutional neural network based methods suggesting a possibility having the unified approach used for wide range of image restoration tasks.