but.committee	doc. Dr. Ing. Jan Černocký (předseda) doc. Ing. Jiří Jaroš, Ph.D. (místopředseda) doc. RNDr. Milan Češka, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen) RNDr. Marek Rychlý, Ph.D. (člen)	cs
but.defence	Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Q1. What is the intuition behind switching the models (GPT, BART) for every 3 words ? Why do you think it is better? Q2. How much influence does the weighting have in the generation of the dialogues. In the thesis, you have used 0.3 for pre-trained model and 0.7 for the stylized model. Does different stylized models (jokes, poetry,) require different weights? - Měla jste slovní nebo znakový výstup generátoru? - Používá vaše řešení už komunita? - Můžete trochu rozvést, jak jste prováděla vyhodnocení?	cs
but.jazyk	angličtina (English)
but.program	Informační technologie	cs
but.result	práce byla úspěšně obhájena	cs
dc.contributor.advisor	Fajčík, Martin	en
dc.contributor.author	Bolshakova, Ksenia	en
dc.contributor.referee	Kesiraju, Santosh	en
dc.date.accessioned	2020-07-14T07:59:16Z
dc.date.available	2020-07-14T07:59:16Z
dc.date.created	2020	cs
dc.description.abstract	Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.	en
dc.description.abstract	This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.	cs
dc.description.mark	A	cs
dc.identifier.citation	BOLSHAKOVA, K. Generování stylizovaného lidského jazyka v dialogových systémech [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2020.	cs
dc.identifier.other	129137	cs
dc.identifier.uri	http://hdl.handle.net/11012/191497
dc.language.iso	en	cs
dc.publisher	Vysoké učení technické v Brně. Fakulta informačních technologií	cs
dc.rights	Standardní licenční smlouva - přístup k plnému textu bez omezení	cs
dc.subject	Umělá neuronová síť	en
dc.subject	Generování přirozeného jazyka	en
dc.subject	Dialogové systémy	en
dc.subject	seq2seq	en
dc.subject	BART	en
dc.subject	GPT-2	en
dc.subject	LSTM	en
dc.subject	Artificial neural network	cs
dc.subject	Natural language generation	cs
dc.subject	Dialogue systems	cs
dc.subject	seq2seq	cs
dc.subject	BART	cs
dc.subject	GPT-2	cs
dc.subject	LSTM	cs
dc.title	Generování stylizovaného lidského jazyka v dialogových systémech	en
dc.title.alternative	Stylized Natural Language Generation in Dialogue Systems	cs
dc.type	Text	cs
dc.type.driver	bachelorThesis	en
dc.type.evskp	bakalářská práce	cs
dcterms.dateAccepted	2020-07-10	cs
dcterms.modified	2020-07-13-23:41:08	cs
eprints.affiliatedInstitution.faculty	Fakulta informačních technologií	cs
sync.item.dbid	129137	en
sync.item.dbtype	ZP	en
sync.item.insts	2021.11.08 13:00:27	en
sync.item.modts	2021.11.08 12:21:43	en
thesis.discipline	Informační technologie	cs
thesis.grantor	Vysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédií	cs
thesis.level	Bakalářský	cs
thesis.name	Bc.	cs

Generování stylizovaného lidského jazyka v dialogových systémech

Files

Original bundle

Collections