Vložení 2D grafiky do scény zabírané stacionární kamerou
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Rozšířená realita zobrazuje další informaci v reálném světě. Hlavním cílem této práce je dosažení přirozeného vzhledu vkládané 2D grafiky do scény pořízené stacionární kamerou. Přestože několik metod řeší problem segmentace popředí, tak většina z nich není dostanečně robustní v růzonorodých scénách. Modifikovaná verze algoritmu ViBe produkuje nejpřesnější výsledky, avšak kvůli popisu alfa masky pouze dvěma hodnotami hrany segmentovaných objektů jsou hrubé. Pro vyhlazení daných hran je použit algoritmus Global Sampling Matting, provedené vyhlazení zlepšuje perceptuální kvalitu alfa masky. Jelikož ViBe nerozlišuje stíny, objevovaly se artefakty po zpětném vložení popředí do scény. Daný problem byl vyřešen navrhnutým algoritmem na segmentaci stínů, který porovnává odstín a texturu mezi modelem pozadí a popředím. Pro odstranění umělého vzhledu vložené grafiky, byl navrhnut algoritmus na propagaci textur. Segmentační a matting algoritmy jsou otestovány na různých datasetech. Výsledný system je následně demonstrován na různých scénách.
Augmented reality visualizes additional information in real-world environment. Main goal of this work is achieving natural looking of the inserted 2D graphics in a scene captured by a stationary camera with possibility of real time processing. Although several methods tackled foreground segmentation problem, many of them are not robust enough on diverse datasets. Modified background subtraction algorithm ViBe yields best visual results, but because of the nature of binary mask, edges of the segmented objects are coarse. In order to smooth edges, Global Sampling Matting is performed, this refinement greatly increased the perceptual quality of segmentation. Considering that the shadows are not classified by ViBe, artifacts were occurring after insertion of segmented objects on top of the graphics. This was solved by the proposed shadow segmentation, which was achieved by comparing the differences between brightness and gradients of the background model and the current frame. To remove plastic look of the inserted graphics, texture propagation has been proposed, that considers the local and mean brightness of the background. Segmentation algorithms and image matting algorithms are tested on various datasets. Resulted pipeline is demonstrated in various scenes.
Augmented reality visualizes additional information in real-world environment. Main goal of this work is achieving natural looking of the inserted 2D graphics in a scene captured by a stationary camera with possibility of real time processing. Although several methods tackled foreground segmentation problem, many of them are not robust enough on diverse datasets. Modified background subtraction algorithm ViBe yields best visual results, but because of the nature of binary mask, edges of the segmented objects are coarse. In order to smooth edges, Global Sampling Matting is performed, this refinement greatly increased the perceptual quality of segmentation. Considering that the shadows are not classified by ViBe, artifacts were occurring after insertion of segmented objects on top of the graphics. This was solved by the proposed shadow segmentation, which was achieved by comparing the differences between brightness and gradients of the background model and the current frame. To remove plastic look of the inserted graphics, texture propagation has been proposed, that considers the local and mean brightness of the background. Segmentation algorithms and image matting algorithms are tested on various datasets. Resulted pipeline is demonstrated in various scenes.
Description
Citation
NGUYEN, S. Vložení 2D grafiky do scény zabírané stacionární kamerou [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
Ing. Michal Bidlo, Ph.D. (člen)
doc. Ing. Martin Čadík, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Date of acceptance
2019-06-11
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Jaké rozšíření by řešení vyžadovalo, aby bylo aplikovatelné i na záznam z nestacionární kamery? Jak navrhujete řešit nedostatky při segmentaci stínů? Jaký minimální grafický HW je potřeba pro provoz Vašeho zařízení? Do jaké míry je Vaše řešení vázáno na grafické karty od společnosti NVIDIA?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení