Rekonstrukce nekvalitních snímků obličejů

Loading...
Thumbnail Image
Date
ORCID
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
V tejto diplomovej práci sa venujem superrezolúcii obrázkov tvárí pomocou konvolučných neurónových sietí so zameraním na zachovanie identity. Ako riešenie problému navrhujem metódu pozostávajúcu z architektúry DPNet a spôsobu trénovania, ktorá vychádza z moderných metód superrezolúcie pomocou neurónových sietí. Model architektúry DPNet je trénovaný na dátovej sade Flickr-Faces-HQ, kde pri štvornásobnom zväčšení dosahuje hodnotu SSIM 0.856, pričom najlepšia z vybraných moderných architektúr, nazývaná Residual channel attention network, dosahuje po natrénovaní hodnotu 0.858. Pri trénovaní modelov pomocou adversariálnej chyby sa v obrázkoch objavovali rôzne artefakty, pričom som experimentoval s viacerými metódami pre ich odstránenie, čo zatiaľ neviedlo k zlepšeniu. Pre porovnanie hodnotenia kvality s ľudským vnímaním som vyhodnotil dotazník, kde sú obrázky zoradené podľa kvality. Výsledky ukazujú, že navrhnutá architektúra sa kvalitou približuje najnovším metódam.
 In this thesis, I tackle the problem of facial image super-resolution using convolutional neural networks with focus on preserving identity. I propose a method consisting of DPNet architecture and training algorithm based on state-of-the-art super-resolution solutions. The model of DPNet architecture is trained on Flickr-Faces-HQ dataset, where I achieve SSIM value 0.856 while expanding the image to four times the size. Residual channel attention network, which is one of the best and latest architectures, achieves SSIM value 0.858. While training models using adversarial loss, I encountered problems with artifacts. I experiment with various methods trying to remove appearing artefacts, which weren't successful so far. To compare quality assessment with human perception, I acquired image sequences sorted by percieved quality. Results show, that quality of proposed neural network trained using absolute loss approaches state-of-the-art methods.
Description
Citation
BAKO, M. Rekonstrukce nekvalitních snímků obličejů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2020.
Document type
Document version
Date of access to the full text
Language of document
sk
Study field
Inteligentní systémy
Comittee
doc. Mgr. Adam Rogalewicz, Ph.D. (předseda) doc. Ing. Lukáš Burget, Ph.D. (místopředseda) Ing. Michal Bidlo, Ph.D. (člen) Ing. Michal Hradiš, Ph.D. (člen) Ing. Martin Hrubý, Ph.D. (člen) Ing. Jaroslav Rozman, Ph.D. (člen)
Date of acceptance
2020-07-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Na str. 30 píšete: "Počas implementácie modelov CARN2, DBPN3, DRCN4 a RCAN5 som sa inšpiroval už existujúcimi implementáciami." Co v této větě znamená slovo "inspiroval"? Čím si vysvětlujete, že použití diskriminátoru v duchu GAN výsledky pouze zhoršilo? Podle literatury i z logiky věci by mělo výsledky zlepšit. Podle grafů z obr. 6.8 neuronová síť produkuje z hlediska rozpoznávání identity spíše horší než "tupá" bikubická interpolace. Čím si to vysvětlit? Co přesně klasifikujete v rámci práce? Trénoval jste síť vždy na zvýšení rozlišení obrázku? Zkoušel jste práci na něco jiného, než obličeje?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení
DOI
Collections
Citace PRO