Sémantická podobnost článků

Abstract

Tato práce se zabývá modelováním struktury sémantických vztahů mezi články v anglickém jazyce. Představuje existující metody pro reprezentaci a výpočet podobnosti článků. Základnou metodou je vektorový model, který reprezentuje dokument jako vektor slov. Jednotlivým slovům jsou v rámci modelu určené váhy důležitosti metodou TF-IDF. Dále jsou zde popsány pokročilé metody modelování a to Latentní sémantická analýza (LSA) a Latentní Dirichletova alokace (LDA). Práce se také zabývá články, které jsou sémanticky anotované, přičemž váhy anotačních slov jsou vypočítány na základe metody SGD. Vyhodnocení výsledků probíhá na připraveném testovacím korpusu dokumentů, ke kterému existuje referenční hodnocení podobnosti.

This bachelor's thesis deals with modelling of structure of semantic relationships among articles in English language. There are introduced existing methods of articles representation and computation of similarity. The base method is vector space model, which represents document as vector of words. There are given weights of importance to these words using TF-IDF method. Next, there are described advanced methods of modelling, Latent semantic analysis (LSA) and Latent Dirichlet allocation (LDA). This thesis also deals with articles, which are semantically annotated, while weights of annotation words are computed by Stochastic Gradient Descent method. Evaluation of results takes place on the prepared test corpus of documents to which there is reference similarity evaluation.