Vyhodnocení mrkání a pozorovaného místa na monitoru

Abstract

Cílem práce je vytvořit systém pro analýzu obličeje uživatele simulátoru řízení. Je prove- dena rešerše existujících přístupů pro detekci významných bodů obličeje, směru pohledu, natočení hlavy a mrkání. Dále je popsán software a hardware simulátoru řízení a je přidána kamera pro snímání uživatele. V praktické části je otestována detekce mrkání pomocí měření Eye Aspect Ratio, detekce natočení hlavy z významných bodů obličeje a odhad směru pohledu pomocí konvolučních neuronových sítí. Z existujících algoritmů je zhodnocena funkčnost knihovny OpenFace. Následně je implementována knihovna OpenFace do Unreal Engine, její funkce jsou využity pro analýzu pohledu i mrkání uži- vatele. V poslední části je otestována přesnost měření směru pohledu a je porovnáno měření směru pohledu s kalibrací a bez kalibrace.

The purpose of this thesis is to create a system for user’s gaze and eye analysis in a driving simulator. There is a research of existing methods for facial landmark detection, head pose and gaze estimation and eye blink detection. Software and hardware of the simulator is described and a camera is added for user recording. In the main part, the Eye Aspect Ratio method is tested for blink detection. Next, head pose detection from facial landmarks is tested. Furthermore, Convolutional Neural Networks are created and trained for gaze estimation. From existing algorithms, OpenFace library is tested. OpenFace library is added to existing software in Unreal Engine and used for gaze and blink detection. A gaze calibration procedure is created and tested for better accuracy.