Reprezentace textu a její vliv na kategorizaci
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Diplomová práce se zabývá strojovým zpracováním textových dat. V teoretické části jsou popsány problémy související se zpracováním přirozeného jazyka a dále jsou představeny různé způsoby předzpracování a reprezentace textu. Práce se také blíže věnuje použití N-gramů jako rysů pro reprezentaci dokumentů a popisuje některé algoritmy sloužící pro jejich extrakci. Další část je pak věnována přehledu používaných klasifikačních metod. V rámci praktické části práce byla navržena a implementována aplikace sloužící pro předzpracování a vytváření různých reprezentací textových dat. V rámci experimentů je pak sledován vliv těchto reprezentací na úspěšnost klasifikačních algoritmů.
The thesis deals with machine processing of textual data. In the theoretical part, issues related to natural language processing are described and different ways of pre-processing and representation of text are also introduced. The thesis also focuses on the usage of N-grams as features for document representation and describes some algorithms used for their extraction. The next part includes an outline of classification methods used. In the practical part, an application for pre-processing and creation of different textual data representations is suggested and implemented. Within the experiments made, the influence of these representations on accuracy of classification algorithms is analysed.
The thesis deals with machine processing of textual data. In the theoretical part, issues related to natural language processing are described and different ways of pre-processing and representation of text are also introduced. The thesis also focuses on the usage of N-grams as features for document representation and describes some algorithms used for their extraction. The next part includes an outline of classification methods used. In the practical part, an application for pre-processing and creation of different textual data representations is suggested and implemented. Within the experiments made, the influence of these representations on accuracy of classification algorithms is analysed.
Description
Keywords
kategorizace, klasifikační metody, dolování z textu, TF-IDF, reprezentace textu, reprezentace textových dokumentů, N-gramy, algoritmus Sufixového stromu, categorization, classification algorithms, text mining, TF-IDF, representation of text, representation of text documents, N-grams, Suffix tree algorithm
Citation
ŠABATKA, O. Reprezentace textu a její vliv na kategorizaci [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2010.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační systémy
Comittee
doc. Ing. Jaroslav Zendulka, CSc. (předseda)
prof. Ing. Tomáš Vojnar, Ph.D. (místopředseda)
Ing. Michal Bidlo, Ph.D. (člen)
prof. Ing. Adam Herout, Ph.D. (člen)
Ing. Ivana Burgetová, Ph.D. (člen)
Prof. Ing. Jiří Šafařík, CSc. (člen)
Date of acceptance
2010-06-24
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se pak seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: Z práce vyplývá, že využitím složitějších technik (N-gramy, TF-IDF) mírně klesá úspěšnost klasifikace. Dokážete určit z jakého důvodu?
Result of defence
práce byla úspěšně obhájena
Document licence
Přístup k plnému textu prostřednictvím internetu byl licenční smlouvou omezen na dobu 1 roku/let