Automatická identifikace šablony generující spam kampaně
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Spam se typicky nevyskytuje ve formě samostatných zpráv, ale často bývá sdružován do takzvaných kampaní. Ty bývají automaticky generovány pomocí šablon. Díky tomu jsou jednotlivé zprávy sémanticky, ale ne syntakticky, ekvivalentní. Cílem práce je navrhnout algoritmus schopný z množiny zpráv jedné kampaně zpětně extrahovat šablonu, ze které tyto zprávy byly generovány. Práce se zaměřuje na spam v SMS komunikaci, ale navržené postupy jsou dostatečně obecné pro širší použití. Algoritmus je postaven na metodě zarovnávání dvou sekvencí, používané v bioinformatice pro nalezení podobných oblastí proteinových řetězců. Výstupem je regulární výraz popisující šablonu dané kampaně. Součástí řešení je také nástroj pro vizualizaci šablony pomocí HTML.Řešení bylo ověřeno na přibližně třech stovkách skutečných kampaní z celého světa. V naprosté většině případů je poskytnutý výsledek postačující pro identifikaci kampaně.
Spam does not occur as separate messages, but it is sent in so-called campaigns. They are usually generated by a certain template which allows producing large amount of semantically, but not syntactically, equivalent messages. The goal of this work is to design an algorithm able to reversely extract a template of a campaign from a set of concrete messages. The main focus is on spam in SMS communication. However, proposed method is general enough for wider use. The proposed algorithm is based on a method of aligning to sequences, which is used in bioinformatics to detect similar regions of protein strings. Resulting templates are represented as regular expressions. The tool is able to visualize extracted templates using HTML.Results of the tool were validated on more than three hundred real-world campaigns. In most cases extracted regular expressions were able to identify their source campaign.
Spam does not occur as separate messages, but it is sent in so-called campaigns. They are usually generated by a certain template which allows producing large amount of semantically, but not syntactically, equivalent messages. The goal of this work is to design an algorithm able to reversely extract a template of a campaign from a set of concrete messages. The main focus is on spam in SMS communication. However, proposed method is general enough for wider use. The proposed algorithm is based on a method of aligning to sequences, which is used in bioinformatics to detect similar regions of protein strings. Resulting templates are represented as regular expressions. The tool is able to visualize extracted templates using HTML.Results of the tool were validated on more than three hundred real-world campaigns. In most cases extracted regular expressions were able to identify their source campaign.
Description
Citation
KOVAŘÍK, D. Automatická identifikace šablony generující spam kampaně [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Inteligentní systémy
Comittee
doc. Ing. František Zbořil, Ph.D. (předseda)
prof. RNDr. Milan Češka, CSc. (místopředseda)
doc. Ing. Peter Chudý, Ph.D., MBA (člen)
Luděk Matyska (člen)
Dr. Ing. Petr Peringer (člen)
doc. Ing. Zdeněk Vašíček, Ph.D. (člen)
Date of acceptance
2018-06-21
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: 1. Proč nelze při učení použít negativní protipříklady, například zprávy z běžné SMS komunikace? 2. V práci zmiňujete jako nevýhodu některých optimalizací to, že je nutné tokenizovat i zprávy, které by jinak tokenizovány nebyly, čimž trpí výkon. Je to opravdu releventní? Tokenizování by měla být lineární operace (zpráva je stejně testována na příslušnost do jazyka regulárního výrazu, což je velmi podobná operace). Jak velké zpomalení způsobí tato tokenizace?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení