Zvýšení rozlišení komiksových obrázků pomocí hlubokých neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto práca demonštruje metódu super rozlíšenia na zlepšenie kvality komiksových obrázkov pomocou hlbokého učenia. Náročnou časťou tejto úlohy bolo súčasne zachovať kvalitu textových a kreslených častí, bez výraznej deformácie ktorejkoľvek časti z nich. Na dosiahnutie uspokojivých výsledkov boli skúmané dve hlboké neurónové siete. Sieť U-Net a modifikácia s názvom Robustný U-Net (RUNet). Zvolené stratové funkcie na trénovanie týchto sietí boli stredná kvadratická chyba a perceptuálna strata. Práca obsahuje experimenty na týchto sieťach v kombinácii s každou stratovou funkciou. Ďalšie experimenty sa zamerali na vplyv počtu použitých blokov zo stratovej siete VGG16 na funkciu perceptuálnej straty. Experimenty ukázali, že sieť RUNet využívajúca perceptuálnu stratu s tromi extrahovanými blokmi dosiahla najlepšie výsledky.
This paper demonstrates a super-resolution method for improving the resolution and quality of comic images by using deep learning. The challenging part of the task was to keep the quality of the text parts and drawings simultaneously, without significant deformation of any part. Two deep neural networks were used to achieve satisfying results. U-Net network and its modification called Robust U-Net. The chosen loss functions to train these networks were the Mean Squared Error and Perceptual loss. The work contains experiments on U-Net and modified RUNet networks with a combination of each loss function. Additional experiments looked at how the number of used blocks from the VGG16 loss network affects the Perceptual loss function. Experiments have shown that a Robust U-Net network using a Perceptual loss with three extracted blocks got the best results.
This paper demonstrates a super-resolution method for improving the resolution and quality of comic images by using deep learning. The challenging part of the task was to keep the quality of the text parts and drawings simultaneously, without significant deformation of any part. Two deep neural networks were used to achieve satisfying results. U-Net network and its modification called Robust U-Net. The chosen loss functions to train these networks were the Mean Squared Error and Perceptual loss. The work contains experiments on U-Net and modified RUNet networks with a combination of each loss function. Additional experiments looked at how the number of used blocks from the VGG16 loss network affects the Perceptual loss function. Experiments have shown that a Robust U-Net network using a Perceptual loss with three extracted blocks got the best results.
Description
Citation
ZDRAVECKÝ, P. Zvýšení rozlišení komiksových obrázků pomocí hlubokých neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda)
doc. Ing. Lukáš Burget, Ph.D. (místopředseda)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Date of acceptance
2022-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Vstupní data s nízkým rozlišením často obsahují JPEG artefakty, váš degradační modul s ničím takovým ale nepočítá a tak se síť snaží rekonstruovat i artefakty. Jak by se výsledky změnily, kdybyste do degradačního modulu zahrnul JPEG kompresi? Jako perceptual loss se používá VGG síť předtrénovaná na datasetu s fotografiemi, které mají jiný charakter než komixy. Jaký efekt by mělo použití sítě trénované na komixech? Zkoumal jste jen zvýšení rozlišení s faktorem 2 a 4. Existují i metody pro zvyšování rozlišení s libovolným faktorem?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení