Odezírání ze rtů pomocí hlubokých neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá současnými metodami pro přepis řeči na text a odezírání ze rtů za pomoci neuronových sítí. Následně se zabývá podobností architektur neuronových sítí operujících nad zvukem a videem při rozpoznávání řeči a porovnává dostupné audiovizuální datové sady. Výsledkem práce je sada experimentů porovnávající různé zásahy do modelu a jejich dopad na výsledky. Dále je součástí implementace systému pro přepis řeči (CER: 12.6 %) a pro odezírání ze rtů (CER: 57,7 %). Architektury obou systémů jsou založeny na extrakci příznaků pomocí konvolučních vrstev. Za nimi následují rekurentní vrstvy LSTM, další řada konvolučních vrstev a hodnotící funkce CTC.
This thesis deals with current methods for automatic speech recognition and lip reading via neural networks. Furthermore it deals with similarities in the architectures of neural networks for audio and visual data and available datasets in the field of audiovisual automatic speech recognition. The main contribution of this thesis is set of experiments comparing different changes in neural network architecture and its impact on results. The thesis includes an implementation of a system for automatic speech recognition from audio (CER: 12.6 %) and visual (CER: 57,7 %) data. The architectures of both systems are based on features extraction via convolutional networks followed by recurrent layers LSTM, another layer of convolutions and loss function CTC.
This thesis deals with current methods for automatic speech recognition and lip reading via neural networks. Furthermore it deals with similarities in the architectures of neural networks for audio and visual data and available datasets in the field of audiovisual automatic speech recognition. The main contribution of this thesis is set of experiments comparing different changes in neural network architecture and its impact on results. The thesis includes an implementation of a system for automatic speech recognition from audio (CER: 12.6 %) and visual (CER: 57,7 %) data. The architectures of both systems are based on features extraction via convolutional networks followed by recurrent layers LSTM, another layer of convolutions and loss function CTC.
Description
Keywords
Odezírání ze rtů, přepis řeči, neuronové sítě, rekurentní neuronové sítě, konvoluce, počítačové vidění, sekvence na sekvenci, Enkodér-Dekodér, CTC, PyTorch, Python., Lip reading, speech recognition, neural networks, recurrent neural network, convolution, computer vision, sequence to sequence, Encoder-Decoder, CTC, PyTorch, Python.
Citation
KADLEČEK, J. Odezírání ze rtů pomocí hlubokých neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
Ing. Michal Bidlo, Ph.D. (člen)
doc. Ing. Martin Čadík, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Date of acceptance
2019-06-11
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Jak velký slovník jste měl k dispozici? Jaký je Váš hlavní přínos? Co si myslíte o vysoké chybovosti, které jste dosáhl? Jak si Vaše metoda stojí v porovnání s existujícími řešeními?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení