Zlepšení předpovědi sociálních značek využitím Data Mining

Abstract

Diplomová práca sa zaoberá využitím Text miningu ako metódy na predikovanie značiek článkov. Práca popisuje iteratívny spôsob narábania s veľkými súbormi dát, ich rozbor, čistenie a výpočet skóre TF-IDF pre výrazy vyskytujúce sa v článku. Detailne popisuje priebeh programu naprogramovaného v jazyku Python 3.4.3. Výsledkom spracovania viac ako 1 milióna článkov databázy webovej encyklopédie Wikipédia je slovník výrazov anglického jazyka, pomocou ktorej je možné určiť n najdôležitejších výrazov vlastných článku z korpusu článkov. Relevantnosť výsledných značiek dokazuje vhodnosť použitej metódy.

This master’s thesis deals with using Text mining as a method to predict tags of articles. It describes the iterative way of handling big data files, parsing the data, cleaning the data and scoring of terms in article using TF-IDF. It describes in detail the flow of program written in programming language Python 3.4.3. The result of processing more than 1 million articles from Wikipedia database is a dictionary of English terms. By using this dictionary one is capable of determining the most important terms from article in corpus of articles. Relevancy of consequent tags proves the method used in this case.