Sémantická podobnost článků
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá modelováním struktury sémantických vztahů mezi články v anglickém jazyce. Představuje existující metody pro reprezentaci a výpočet podobnosti článků. Základnou metodou je vektorový model, který reprezentuje dokument jako vektor slov. Jednotlivým slovům jsou v rámci modelu určené váhy důležitosti metodou TF-IDF. Dále jsou zde popsány pokročilé metody modelování a to Latentní sémantická analýza (LSA) a Latentní Dirichletova alokace (LDA). Práce se také zabývá články, které jsou sémanticky anotované, přičemž váhy anotačních slov jsou vypočítány na základe metody SGD. Vyhodnocení výsledků probíhá na připraveném testovacím korpusu dokumentů, ke kterému existuje referenční hodnocení podobnosti.
This bachelor's thesis deals with modelling of structure of semantic relationships among articles in English language. There are introduced existing methods of articles representation and computation of similarity. The base method is vector space model, which represents document as vector of words. There are given weights of importance to these words using TF-IDF method. Next, there are described advanced methods of modelling, Latent semantic analysis (LSA) and Latent Dirichlet allocation (LDA). This thesis also deals with articles, which are semantically annotated, while weights of annotation words are computed by Stochastic Gradient Descent method. Evaluation of results takes place on the prepared test corpus of documents to which there is reference similarity evaluation.
This bachelor's thesis deals with modelling of structure of semantic relationships among articles in English language. There are introduced existing methods of articles representation and computation of similarity. The base method is vector space model, which represents document as vector of words. There are given weights of importance to these words using TF-IDF method. Next, there are described advanced methods of modelling, Latent semantic analysis (LSA) and Latent Dirichlet allocation (LDA). This thesis also deals with articles, which are semantically annotated, while weights of annotation words are computed by Stochastic Gradient Descent method. Evaluation of results takes place on the prepared test corpus of documents to which there is reference similarity evaluation.
Description
Keywords
sémantická podobnost, sémantické anotace, vektorový model, TF-IDF, SGD, LSA, LDA, Python, Gensim, Elasticsearch, zpracování přirozeného jazyka, křížová validace, semantic similarity, semantic annotations, vector space model, TF-IDF, SGD, LSA, LDA, Python, Gensim, Elasticsearch, natural language processing, cross validation
Citation
VESELOVSKÝ, M. Sémantická podobnost článků [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2014.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
doc. Dr. Ing. Jan Černocký (předseda)
doc. Ing. František Zbořil, CSc. (místopředseda)
Ing. Vítězslav Beran, Ph.D. (člen)
Ing. Michal Bidlo, Ph.D. (člen)
Ing. Karel Masařík, Ph.D. (člen)
Date of acceptance
2014-06-18
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Jakým způsobem jste vybíral dokumenty do Vašeho testovacího korpusu? Jak jste podobnosti těchto dokumentů vyhodnocoval a jak dlouho Vám to trvalo? Můžete prosím komisi objasnit, jak přesně jste implementoval metodu iterativní LSA? Z popisu práce to není příliš jasné.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení