Využití strojového učení pro detekci anomálií na základě analýzy systémových logů

Abstract

Táto diplomová práca sa venuje problematike využitia strojového učenia na detekciu anomálií na základe analýzy systémových logov. Navrhnuté modely sú založené na algoritmoch strojového učenia s učiteľom, bez učiteľa a na hlbokom učení. Funkčnosť a správanie týchto algoritmov sú objasnené ako teoreticky, tak aj prakticky. Okrem toho boli využité metódy a postupy na predspracovanie dát predtým, než boli vložené do modelov strojového učenia. Navrhnuté modely sú na konci porovnané s využitím viacerých metrík a otestované na syslogoch, ktoré modely predtým nevideli. Najpresnejší výkon podali modely Klasifikátor rozhodovacích stromov, Jednotriedny podporný vektorový stroj a model Hierarchické zoskupovanie, ktoré správne označili 93,95%, 85,66% a 85,3% anomálií v uvedenom poradí.

This thesis deals with system log analysis for anomaly detection using machine learning models. The proposed models are based on supervised, unsupervised and deep learning algorithms. However, the functionality and behaviour of these algorithms have been clarified theoretically and practically in the thesis. Moreover, many preprocessing methods and logics were used to preprocess the data before it was fed to the machine learning model. At the end and to confirm the workability of proposed models, many metrics were calculated and unseen syslogs were fed to the best-proposed machine learning models to detect the anomalies. However, models Decision Tree Classifier, One-class SVM and Hierarchical Clustering demonstrated the best performance, correctly predicting 93.95%,85.66% and 85.3% of all anomalies respectively.