Využití strojového učení pro detekci anomálií na základě analýzy systémových logů
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Táto diplomová práca sa venuje problematike využitia strojového učenia na detekciu anomálií na základe analýzy systémových logov. Navrhnuté modely sú založené na algoritmoch strojového učenia s učiteľom, bez učiteľa a na hlbokom učení. Funkčnosť a správanie týchto algoritmov sú objasnené ako teoreticky, tak aj prakticky. Okrem toho boli využité metódy a postupy na predspracovanie dát predtým, než boli vložené do modelov strojového učenia. Navrhnuté modely sú na konci porovnané s využitím viacerých metrík a otestované na syslogoch, ktoré modely predtým nevideli. Najpresnejší výkon podali modely Klasifikátor rozhodovacích stromov, Jednotriedny podporný vektorový stroj a model Hierarchické zoskupovanie, ktoré správne označili 93,95%, 85,66% a 85,3% anomálií v uvedenom poradí.
This thesis deals with system log analysis for anomaly detection using machine learning models. The proposed models are based on supervised, unsupervised and deep learning algorithms. However, the functionality and behaviour of these algorithms have been clarified theoretically and practically in the thesis. Moreover, many preprocessing methods and logics were used to preprocess the data before it was fed to the machine learning model. At the end and to confirm the workability of proposed models, many metrics were calculated and unseen syslogs were fed to the best-proposed machine learning models to detect the anomalies. However, models Decision Tree Classifier, One-class SVM and Hierarchical Clustering demonstrated the best performance, correctly predicting 93.95%,85.66% and 85.3% of all anomalies respectively.
This thesis deals with system log analysis for anomaly detection using machine learning models. The proposed models are based on supervised, unsupervised and deep learning algorithms. However, the functionality and behaviour of these algorithms have been clarified theoretically and practically in the thesis. Moreover, many preprocessing methods and logics were used to preprocess the data before it was fed to the machine learning model. At the end and to confirm the workability of proposed models, many metrics were calculated and unseen syslogs were fed to the best-proposed machine learning models to detect the anomalies. However, models Decision Tree Classifier, One-class SVM and Hierarchical Clustering demonstrated the best performance, correctly predicting 93.95%,85.66% and 85.3% of all anomalies respectively.
Description
Citation
ŠIKLÓŠI, M. Využití strojového učení pro detekci anomálií na základě analýzy systémových logů [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2020.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Telekomunikační a informační technika
Comittee
prof. Ing. Eva Gescheidtová, CSc. (předseda)
doc. Ing. Jiří Hošek, Ph.D. (místopředseda)
Ing. Michal Polívka, Ph.D. (člen)
Ing. Pavel Hanák, Ph.D. (člen)
Ing. Zoltán Galáž, Ph.D. (člen)
Ing. Petr Kříž (člen)
Date of acceptance
2020-06-16
Defence
Student prezentoval výsledky své práce a komise byla seznámena s posudky. Student obhájil diplomovou práci s výhradami a odpověděl na otázky členů komise a oponenta.
Otázky oponenta:
1. Jaké parametry mají v rámci Vašeho nástroje vliv na efektivnost odhalení anomálie?
2. Jak velký datový (časový) stream je nutný pro efektivní odhalení následně vzniklých anomálií?
Otázky komise:
1. Jsou vstupními daty modelů textové řetězce?
2. Je vstupem modelů časová řada logů?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení