Zvýšení rozlišení komiksových obrázků pomocí hlubokých neuronových sítí

Abstract

Táto práca demonštruje metódu super rozlíšenia na zlepšenie kvality komiksových obrázkov pomocou hlbokého učenia. Náročnou časťou tejto úlohy bolo súčasne zachovať kvalitu textových a kreslených častí, bez výraznej deformácie ktorejkoľvek časti z nich. Na dosiahnutie uspokojivých výsledkov boli skúmané dve hlboké neurónové siete. Sieť U-Net a modifikácia s názvom Robustný U-Net (RUNet). Zvolené stratové funkcie na trénovanie týchto sietí boli stredná kvadratická chyba a perceptuálna strata. Práca obsahuje experimenty na týchto sieťach v kombinácii s každou stratovou funkciou. Ďalšie experimenty sa zamerali na vplyv počtu použitých blokov zo stratovej siete VGG16 na funkciu perceptuálnej straty. Experimenty ukázali, že sieť RUNet využívajúca perceptuálnu stratu s tromi extrahovanými blokmi dosiahla najlepšie výsledky.

This paper demonstrates a super-resolution method for improving the resolution and quality of comic images by using deep learning. The challenging part of the task was to keep the quality of the text parts and drawings simultaneously, without significant deformation of any part. Two deep neural networks were used to achieve satisfying results. U-Net network and its modification called Robust U-Net. The chosen loss functions to train these networks were the Mean Squared Error and Perceptual loss. The work contains experiments on U-Net and modified RUNet networks with a combination of each loss function. Additional experiments looked at how the number of used blocks from the VGG16 loss network affects the Perceptual loss function. Experiments have shown that a Robust U-Net network using a Perceptual loss with three extracted blocks got the best results.