Vyhodnocení mrkání a pozorovaného místa na monitoru
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Cílem práce je vytvořit systém pro analýzu obličeje uživatele simulátoru řízení. Je prove- dena rešerše existujících přístupů pro detekci významných bodů obličeje, směru pohledu, natočení hlavy a mrkání. Dále je popsán software a hardware simulátoru řízení a je přidána kamera pro snímání uživatele. V praktické části je otestována detekce mrkání pomocí měření Eye Aspect Ratio, detekce natočení hlavy z významných bodů obličeje a odhad směru pohledu pomocí konvolučních neuronových sítí. Z existujících algoritmů je zhodnocena funkčnost knihovny OpenFace. Následně je implementována knihovna OpenFace do Unreal Engine, její funkce jsou využity pro analýzu pohledu i mrkání uži- vatele. V poslední části je otestována přesnost měření směru pohledu a je porovnáno měření směru pohledu s kalibrací a bez kalibrace.
The purpose of this thesis is to create a system for user’s gaze and eye analysis in a driving simulator. There is a research of existing methods for facial landmark detection, head pose and gaze estimation and eye blink detection. Software and hardware of the simulator is described and a camera is added for user recording. In the main part, the Eye Aspect Ratio method is tested for blink detection. Next, head pose detection from facial landmarks is tested. Furthermore, Convolutional Neural Networks are created and trained for gaze estimation. From existing algorithms, OpenFace library is tested. OpenFace library is added to existing software in Unreal Engine and used for gaze and blink detection. A gaze calibration procedure is created and tested for better accuracy.
The purpose of this thesis is to create a system for user’s gaze and eye analysis in a driving simulator. There is a research of existing methods for facial landmark detection, head pose and gaze estimation and eye blink detection. Software and hardware of the simulator is described and a camera is added for user recording. In the main part, the Eye Aspect Ratio method is tested for blink detection. Next, head pose detection from facial landmarks is tested. Furthermore, Convolutional Neural Networks are created and trained for gaze estimation. From existing algorithms, OpenFace library is tested. OpenFace library is added to existing software in Unreal Engine and used for gaze and blink detection. A gaze calibration procedure is created and tested for better accuracy.
Description
Citation
KLIMEŠ, P. Vyhodnocení mrkání a pozorovaného místa na monitoru [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
bez specializace
Comittee
plk. gšt. prof. Dr. Ing. Alexandr Štefek (předseda)
doc. Ing. Petr Beneš, Ph.D. (místopředseda)
Ing. Jakub Dokoupil, Ph.D. (člen)
Ing. Tomáš Macho, Ph.D. (člen)
Ing. Jaroslav Lepka, Ph.D. (člen)
Ing. Radek Štohl, Ph.D. (člen)
Ing. Ilona Janáková, Ph.D. (člen)
Date of acceptance
2022-06-08
Defence
Student dokončil svou prezentaci. Byly mu položeny následující dotazy:
č.1-3: viz posudek oponenta.
č.4: Pro finální produkt, chtěl by jste využívat OpenFace i nadále nebo by jste si vyvinul vlastní metodu?
Student obhájil diplomovou práci. Komise neměla žádné námitky k řešené práci. V průběhu odborné rozpravy odpověděl na dotazy.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení