Aplikace metody učení bez učitele na hledání podobných grafů
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cieľom tejto diplomovej práce bolo v spolupráci s firmou Avast navrhnúť systém, ktorý dokáže dolovať znalosti z databázy grafov pomocou metód učenia bez učiteľa. Grafy, určené pre dolovanie, popisujú chovanie počítačových systémov a do databázy prichádzajú anonymne od používateľov softvérových produktov firmy. Grafom v databáze je možné priradiť jednu z dvoch tried: čistý graf alebo malware (škodlivý) graf. Úlohou navrhnutého samoučiacieho systému je nad grafovou databázou nájsť zhluky grafov, v ktorých sa triedy grafov nemiešajú. Zhluky grafov, v ktorých sa nachádza iba jedna trieda grafov, sa dajú interpretovať ako rôzne typy čistých alebo malware grafov a sú užitočným zdrojom ďalších analýz nad grafmi. Pre ohodnotenie kvality zhlukov bola navrhnutá vlastná metrika pomenovaná ako jednofarebnosť. Metrika hodnotí kvalitu zhlukov na základe toho ako veľmi sa v zhlukoch miešajú čisté a malware grafy. Najlepšie výsledky metrika dosiahla, keď boli vektorové reprezentácie grafov vytvorené modelom hlbokého učenia (variačným grafovým autoenkodérom s dvomi relačnými grafovými konvolučnými operátormi) a pre zhlukovanie nad vektormi bola použitá bezparametrická metóda MeanShift.
Goal of this master's thesis was in cooperation with the company Avast to design a system, which can extract knowledge from a database of graphs. Graphs, used for data mining, describe behaviour of computer systems and they are anonymously inserted into the company's database from systems of the company's products users. Each graph in the database can be assigned with one of two labels: clean or malware (malicious) graph. The task of the proposed self-learning system is to find clusters of graphs in the graph database, in which the classes of graphs do not mix. Graph clusters with only one class of graphs can be interpreted as different types of clean or malware graphs and they are a useful source of further analysis on the graphs. To evaluate the quality of the clusters, a custom metric, named as monochromaticity, was designed. The metric evaluates the quality of the clusters based on how much clean and malware graphs are mixed in the clusters. The best results of the metric were obtained when vector representations of graphs were created by a deep learning model (variational graph autoencoder with two relation graph convolution operators) and the parameterless method MeanShift was used for clustering over vectors.
Goal of this master's thesis was in cooperation with the company Avast to design a system, which can extract knowledge from a database of graphs. Graphs, used for data mining, describe behaviour of computer systems and they are anonymously inserted into the company's database from systems of the company's products users. Each graph in the database can be assigned with one of two labels: clean or malware (malicious) graph. The task of the proposed self-learning system is to find clusters of graphs in the graph database, in which the classes of graphs do not mix. Graph clusters with only one class of graphs can be interpreted as different types of clean or malware graphs and they are a useful source of further analysis on the graphs. To evaluate the quality of the clusters, a custom metric, named as monochromaticity, was designed. The metric evaluates the quality of the clusters based on how much clean and malware graphs are mixed in the clusters. The best results of the metric were obtained when vector representations of graphs were created by a deep learning model (variational graph autoencoder with two relation graph convolution operators) and the parameterless method MeanShift was used for clustering over vectors.
Description
Citation
SABO, J. Aplikace metody učení bez učitele na hledání podobných grafů [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2021.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Vývoj aplikací
Comittee
prof. Dr. Ing. Pavel Zemčík (předseda)
doc. RNDr. Jitka Kreslíková, CSc. (místopředseda)
Ing. Vladimír Bartík, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Filip Orság, Ph.D. (člen)
Ing. Libor Polčák, Ph.D. (člen)
Date of acceptance
2021-06-23
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: V technické zprávě uvádíte, že dostupná data byla rozdělena na trénovací, testovací a validační datovou sadu. Jak přesně byly využity jednotlivé datové sady při tvorbě samoučících systémů?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení