Vliv akustiky prostředí na úspěšnost rozpoznávače řeči
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto diplomová práca sa venuje vplyvom akustiky miestnosti na úspešnosť rozpoznávania reči. Na vyhodnotenie experimentov bol použitý rečový korpus LibriSpeech a databáza impulzných odoziev a šumu ReverbDB. Skúmané rozpoznávače reči boli založené na Kaldi recepte Mini LibriSpeech. Najskôr bolo zmerané, ako sa rozpoznávač dokáže naučiť rozpoznávať vo vybraných prostediach použitím rovnakých akustických podmienok pri trénovaní aj testovaní. Následne bolo experimentované s architektúrou systému s cieľom dosiahnuť čo najlepšiu robustnosť voči rôznym novým podmienkam za použitia metód pre adaptáciu na prostredie pomocou r-vektorov a i-vektorov. Bol ukázaný prínos nedávno predstavenej techniky r-vektorov aj pri použití augmentácie dát pomocou reálnych impulných odoziev.
This diploma thesis deals with impact of room acoustics on automatic speech recognition (ASR) accuracy. Experiments were evaluated on speech corpus LibriSpeech and database of impulse responses and noise called ReverbDB. Used ASRs were based on Mini LibriSpeech recipe for Kaldi. First it was examined how well can ASR learn to transcribe in selected environments by using the same acoustic conditions during training and testing. Next, experiments were carried out with modifications of ASR architecture in order to achieve better robustness against new conditions by using methods for adapation to room acoustics - r-vectors and i-vectors. It was shown that recently proposed method of r-vectors is beneficial even when using real impulse responses for data augmentation.
This diploma thesis deals with impact of room acoustics on automatic speech recognition (ASR) accuracy. Experiments were evaluated on speech corpus LibriSpeech and database of impulse responses and noise called ReverbDB. Used ASRs were based on Mini LibriSpeech recipe for Kaldi. First it was examined how well can ASR learn to transcribe in selected environments by using the same acoustic conditions during training and testing. Next, experiments were carried out with modifications of ASR architecture in order to achieve better robustness against new conditions by using methods for adapation to room acoustics - r-vectors and i-vectors. It was shown that recently proposed method of r-vectors is beneficial even when using real impulse responses for data augmentation.
Description
Citation
PALIESEK, J. Vliv akustiky prostředí na úspěšnost rozpoznávače řeči [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2021.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Bezpečnost informačních technologií
Comittee
prof. Ing. Martin Drahanský, Ph.D. (předseda)
prof. Ing. Tomáš Vojnar, Ph.D. (místopředseda)
Ing. František Grézl, Ph.D. (člen)
Ing. Martin Hrubý, Ph.D. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
Mgr. Ing. Pavel Očenášek, Ph.D. (člen)
Date of acceptance
2021-06-23
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C. Otázky u obhajoby: V práci ukazujete i analyzujete výraznou degradaci systému za předpokladu že nebyl trénován ve stejných nebo podobných podmínkách. Zvažoval jste užití de-reverbereračních technik jako například Weight Prediction Error (WPE) V případě použití alignmentů z čistých dat pro trénování sitě na augmentovaných datech, použil ste jen alignmenty nebo i lattice? Z pohledu LF-MMI objektivní funkce lze zvážit pouze čisté alignmenty (slouží pro cross-entropy regularizaci) a nechat lattice vygenerovat na cilových datech. r- a zejména x- vektory trénujete na malém množství dat (100h). Pro tuto architekturu je dobré mít aspoň 0.5-1k hodin (bez augmentace). Můžete zdůvodnit proč?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení