Show simple item record

Stylized Natural Language Generation in Dialogue Systems

dc.contributor.advisorFajčík, Martinen
dc.contributor.authorBolshakova, Kseniaen
dc.date.accessioned2020-07-14T07:59:16Z
dc.date.available2020-07-14T07:59:16Z
dc.date.created2020cs
dc.identifier.citationBOLSHAKOVA, K. Generování stylizovaného lidského jazyka v dialogových systémech [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2020.cs
dc.identifier.other129137cs
dc.identifier.urihttp://hdl.handle.net/11012/191497
dc.description.abstractTato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován  s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.en
dc.description.abstractThis thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.cs
dc.language.isoencs
dc.publisherVysoké učení technické v Brně. Fakulta informačních technologiícs
dc.rightsStandardní licenční smlouva - přístup k plnému textu bez omezenícs
dc.subjectUmělá neuronová síťen
dc.subjectGenerování přirozeného jazykaen
dc.subjectDialogové systémyen
dc.subjectseq2seqen
dc.subjectBARTen
dc.subjectGPT-2en
dc.subjectLSTMen
dc.subjectArtificial neural networkcs
dc.subjectNatural language generationcs
dc.subjectDialogue systemscs
dc.subjectseq2seqcs
dc.subjectBARTcs
dc.subjectGPT-2cs
dc.subjectLSTMcs
dc.titleGenerování stylizovaného lidského jazyka v dialogových systémechen
dc.title.alternativeStylized Natural Language Generation in Dialogue Systemscs
dc.typeTextcs
dcterms.dateAccepted2020-07-10cs
dcterms.modified2020-07-13-23:41:08cs
thesis.disciplineInformační technologiecs
thesis.grantorVysoké učení technické v Brně. Fakulta informačních technologií. Ústav počítačové grafiky a multimédiícs
thesis.levelBakalářskýcs
thesis.nameBc.cs
sync.item.dbid129137en
sync.item.dbtypeZPen
sync.item.insts2020.07.14 09:59:16en
sync.item.modts2020.07.14 08:12:31en
eprints.affiliatedInstitution.facultyFakulta informačních technologiícs
dc.contributor.refereeKesiraju, Santoshen
dc.description.markAcs
dc.type.driverbachelorThesisen
dc.type.evskpbakalářská prácecs
but.committeedoc. Dr. Ing. Jan Černocký (předseda) doc. Ing. Jiří Jaroš, Ph.D. (místopředseda) RNDr. Milan Češka, Ph.D. (člen) Ing. Filip Orság, Ph.D. (člen) RNDr. Marek Rychlý, Ph.D. (člen)cs
but.defenceStudentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Q1. What is the intuition behind switching the models (GPT, BART) for every 3 words ? Why do you think it is better? Q2. How much influence does the weighting have in the generation of the dialogues. In the thesis, you have used 0.3 for pre-trained model and 0.7 for the stylized model. Does different stylized models (jokes, poetry,) require different weights? - Měla jste slovní nebo znakový výstup generátoru? - Používá vaše řešení už komunita? - Můžete trochu rozvést, jak jste prováděla vyhodnocení?cs
but.resultpráce byla úspěšně obhájenacs
but.programInformační technologiecs
but.jazykangličtina (English)


Files in this item

Thumbnail
Thumbnail
Thumbnail
Thumbnail

This item appears in the following Collection(s)

Show simple item record