Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá problematikou analýzy obrazovek grafického uživatelského rozhraní (GUI) pomocí konvolučních neuronových sítí (CNN) a metod počítačového vidění. Cílem této práce je vytvořit systém, který automaticky identifikuje GUI elementy na základě piktogramových a textových informací pro detekované prvky ve vstupním obrázku. K~vývoji systému byla použita kombinace EfficientNetB1 CNN, OCR a tradičních metod počítačového vidění. K trénování CNN byla použita vlastní datová sada, která obsahovala 120 tisíc piktogramů. Byl vytvořen sémantický slovník UI prvků, který dále využívá text detekovaný pomocí OCR. Nakonec byl vytvořen podsystém pro analýzu GUI hierarchie, který slouží k detekci a sémantické kategorizaci oblastí GUI. Výsledný systém automaticky klasifikuje detekované piktogramy, navrhuje další třídy na základě textu a rozděluje GUI obrazovku do hierarchických sekcí. Systém dosahuje 81,1% přesnosti identifikace UI prvků a v průměru zanalyzuje jednu obrazovku za 0,6 sekundy. Systém automatizuje identifikaci UI prvků, čímž umožňuje zaměstnancům věnovat se jiným činnostem. V budoucnu lze tento systém dále rozvíjet, aby sloužil jako základ pro automatické exploratorní testování.
This thesis explores the issue of graphical user interface (GUI) screen analysis using convolutional neural networks (CNN) and computer vision methods. The thesis aims to create a system which automatically identifies GUI elements based on pictogram and text information for detected components in an input image. A combination of EfficientNetB1 CNN, OCR, and traditional computer vision methods was used to develop the system. A custom dataset which contains 120k pictograms was used to train the CNN. A UI element semantic dictionary was created, which further utilises the text detected by OCR. Finally, a GUI hierarchy analysis subsystem was created to detect and semantically categorise sections in GUI. The resulting system automatically classifies detected pictograms, suggests additional text classes, and separates the GUI screen into hierarchical sections. The system achieves 81.1% UI element identification accuracy and, on average, analyses a single screen in 0.6 seconds. This system automates repetitive processes, thus decreasing needed person-hours. In the future, the system can be further developed to function as a foundation for automated exploratory testing.
This thesis explores the issue of graphical user interface (GUI) screen analysis using convolutional neural networks (CNN) and computer vision methods. The thesis aims to create a system which automatically identifies GUI elements based on pictogram and text information for detected components in an input image. A combination of EfficientNetB1 CNN, OCR, and traditional computer vision methods was used to develop the system. A custom dataset which contains 120k pictograms was used to train the CNN. A UI element semantic dictionary was created, which further utilises the text detected by OCR. Finally, a GUI hierarchy analysis subsystem was created to detect and semantically categorise sections in GUI. The resulting system automatically classifies detected pictograms, suggests additional text classes, and separates the GUI screen into hierarchical sections. The system achieves 81.1% UI element identification accuracy and, on average, analyses a single screen in 0.6 seconds. This system automates repetitive processes, thus decreasing needed person-hours. In the future, the system can be further developed to function as a foundation for automated exploratory testing.
Description
Keywords
identifikace UI prvků, identifikace objektů, EfficientNetB1, neuronové sítě, klasifikace obrázků, sémantická analýza grafického uživatelského rozhraní, počítačové vidění, strojové učení, sémantický slovník GUI prvků, OCR, Python, Keras, TensorFlow, OpenCV, UI element identification, object identification, EfficientNetB1, neural networks, image classification, semantic analysis of graphical user interface, computer vision, machine learning, semantic dictionary of UI elements, OCR, Python, Keras, TensorFlow, OpenCV
Citation
VÁLEK, L. Identifikace elementů grafického uživatelského rozhraní pro robotický testovací systém [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové vidění
Comittee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda)
doc. Ing. Martin Čadík, Ph.D. (místopředseda)
Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Roman Juránek, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Tomáš Milet, Ph.D. (člen)
Date of acceptance
2022-06-20
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: Opravdu lze tvrdit, že systém, jako je ten váš, není možné vyhodnotit objektivně, není možné získat GT data a hodnocení musí být ruční a subjektivní? Nemohly by současné detektory založené na hlubokých CNN být v detekci a klasifikaci úspěšnější než konvenční nástroje pro vytipování míst v obraze a jejich následná klasifikace? Použitá síť EfficientNetB1 pracuje s obrázky 240x240. Typické výřezy, které má ve vaší práci klasifikovat, jsou zřejmě menší. Jaké je rozložený vašich výřezů? Nemohlo by být efektivnější použít síť, která by byla lépe přizpůsobená vašim datům?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení