Odhad emocí řečníka z mluvené řeči
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato bakalářská práce se zabývá výzkumem v oblasti rozpoznávání emocí z řeči a okrajově i z dalších modalit (video a fyziologické záznamy). Popisuje topologii systémů, které byly pro tento výzkum postaveny. Dále popisuje experimenty s těmito systémy vedoucí k optimálnímu předzpracování, trénování a po-zpracování dat. K výzkumu jsou použita data z evaluace AV+EC 2015, do níž byly zaslány výsledky fúzních systému produkujících nejpřesnější predikci. Nově jsou v oblasti rozpoznávání emocí z řeči vyzkoušeny Bottle-Neck příznaky. Jsou použity spolu s běžně používanými eGeMAPS příznaky ve fúzním systému rozpoznávající emoční dimenzi arousal. Emoční dimenze valence je pak rozpoznávána dvojicí video příznaků. Multi-task systém (rozpoznávající valenci i arousal) používající Bottle-Neck příznaky produkuje výslekdy pouze o 13 % relativně horší, než zmíněný fúzní systém, což apeluje hlavně na situace, kde jsou dostupná pouze audio data.
This Bachelor Thesis deals with research in the field of emotion recognition mainly from speech and marginally from other modalities (video and physiological data). It closely describes the topology of the systems built specifically for the subject of this work. Moreover, it describes experiments leading to optimized pre-processing, regressor training and post-processing. Data used for these research origins from evaluation AV+EC 2015. Results of fusion systems producing the most precise prediction were sent to this evaluation. The Bottle-Neck features are newly tested and combined favorably with commonly used eGeMAPS features for the recognition of arousal. For valence, two kinds of video features are used. Muli-task system (recognizing both valence and arousal) using Bottle-Neck features produces competitive results and is only 13 % relatively behind the mentioned fusion system. This is especially appealing for applications where only audio is available.
This Bachelor Thesis deals with research in the field of emotion recognition mainly from speech and marginally from other modalities (video and physiological data). It closely describes the topology of the systems built specifically for the subject of this work. Moreover, it describes experiments leading to optimized pre-processing, regressor training and post-processing. Data used for these research origins from evaluation AV+EC 2015. Results of fusion systems producing the most precise prediction were sent to this evaluation. The Bottle-Neck features are newly tested and combined favorably with commonly used eGeMAPS features for the recognition of arousal. For valence, two kinds of video features are used. Muli-task system (recognizing both valence and arousal) using Bottle-Neck features produces competitive results and is only 13 % relatively behind the mentioned fusion system. This is especially appealing for applications where only audio is available.
Description
Citation
POPKOVÁ, A. Odhad emocí řečníka z mluvené řeči [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2016.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
doc. Dr. Ing. Jan Černocký (předseda)
prof. Ing. Martin Drahanský, Ph.D. (místopředseda)
Ing. Michal Bidlo, Ph.D. (člen)
RNDr. Marek Rychlý, Ph.D. (člen)
Ing. Michal Španěl, Ph.D. (člen)
Date of acceptance
2016-06-15
Defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm výborně (A). Otázky u obhajoby: - Jaké vás napadají jiné možnosti fúze multimodálních skóre s nespolehlivými výstupy (viz zmiňovaný nerozpoznaný obličej ve videu)? - Jaké jsou možné matoucí vlivy pro rozpoznávání (jazyk nahrávky, kanál atp.)? Počítá se s nimi v systému? - Jakým způsobem by se s pomocí vašeho systému mohl realizovat binární detektor jedné emoce, např. smutku?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení