Gaze Gestures in Interaction with Problem-Solving
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato diplomová práce byla vypracována při studijním pobytu na University of Eastern, Finland. Tato práce se zabývá analýzou pohybů očí jakožto charakteristiky lidských úmyslů. Během hraní hry 8Puzzle byly extrahovány pohyby očí a rozděleny na základě stisku tlačítka, které ve hře symbolizovalo hráčův úmysl pohnout herní kostičkou. Takto rozdělené sekvence představují reflexivní chování oka, tzv. pohledové gesto, které představují zdroj příznaků. Příznaky extrahované z pohybů očí pak popisují pohledová gesta spojená jak s úmysly a tak bez úmyslů. Nově bylo do analýzy zahrnuto také pozorování změn v zorničce jakožto zdroj informací, který by mohl pomoci v rozlišení úmyslných pohledů od pohledů bez záměru. Tento úkol zahrnuje binární klasifikaci, která byla realizována pomocí navrženého predikčního modelu s využitím SVM a RBF jádra. Tato práce se také zaměřuje na studium vlivu normalizace na celkové výsledky. Vyhodnocení modelu bylo realizování pomocí křivky pod grafem. Z výsledků bylo dobře patrné, že datová sada příznaků založená na fixacích a sakádách lépe rozlišila úmyslné sekvence od neúmyslných, zatímco úspěšnost sad příznaků postavených na odezvách pupily se pohybovala na hranici náhodného klasifikátoru. Přestože dosažené výsledky vyzývají k dalšímu studiu lidských úmyslů pomocí pohybů očí, přestože klasifikace v reálném čase na základě takto navržených příznaků by prozatím nebyla 100% spolehlivá.
This MSc Thesis was performewd duding a study stay at the University of Eastern, Finland. This thesis is focused on employing analysis of eye movements as description of human intents. Eye movements a pupil dilation during problem solving game 8Puzzle were extracted and classified in parallel with performed button presses, which expressed user's desires to move A selected puzzle tile. The extracted sequences represented involuntary behaviour of the eye, so-called gaze gesture, and also a source for feature vectors. Extracted eye movement features expressed intentional and non-intentional gaze gestures. In addition, pupil dilations were employed as source of information distinguishing between desired and unwanted interaction with problem. This machine learning task consisted of binary classification using a predictive model based on support vector machines with an RBF kernel. Effect of normalization type was also examined to reveal how various approaches influence overall classification performance. The results were measured using Area under the Curve. Findings revealed significantly better performance in classification of features based on fixation and saccades while performance of pupillary responses were at the level of random classifier. However, the findings encourage for further studies of the relationship between intentional and non-intentional eye movements, even though their use in real time classification still would not be 100% reliable.
This MSc Thesis was performewd duding a study stay at the University of Eastern, Finland. This thesis is focused on employing analysis of eye movements as description of human intents. Eye movements a pupil dilation during problem solving game 8Puzzle were extracted and classified in parallel with performed button presses, which expressed user's desires to move A selected puzzle tile. The extracted sequences represented involuntary behaviour of the eye, so-called gaze gesture, and also a source for feature vectors. Extracted eye movement features expressed intentional and non-intentional gaze gestures. In addition, pupil dilations were employed as source of information distinguishing between desired and unwanted interaction with problem. This machine learning task consisted of binary classification using a predictive model based on support vector machines with an RBF kernel. Effect of normalization type was also examined to reveal how various approaches influence overall classification performance. The results were measured using Area under the Curve. Findings revealed significantly better performance in classification of features based on fixation and saccades while performance of pupillary responses were at the level of random classifier. However, the findings encourage for further studies of the relationship between intentional and non-intentional eye movements, even though their use in real time classification still would not be 100% reliable.
Description
Citation
VRZÁKOVÁ, H. Gaze Gestures in Interaction with Problem-Solving [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2011.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačová grafika a multimédia
Comittee
prof. Ing. Adam Herout, Ph.D. (předseda)
prof. Ing. Tomáš Hruška, CSc. (místopředseda)
doc. RNDr. Pavel Hruška, CSc. (člen)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
doc. Ing. Ondřej Ryšavý, Ph.D. (člen)
Date of acceptance
2011-08-22
Defence
Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se pak seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm " B ". Otázky u obhajoby: V práci se snažíte rozpoznat úmysly, které se mimoděčně zrcadlí v rysech pohledu uživatele. Alternativou by mohlo být, že budete navrhovat gesta, pomocí kterých uživatel záměrně počítač ovládá. Proč jste volila první přístup? Když klasifikujete oční gesta, používáte pouze pozorování očí PŘED provedením cílové aktivity (posun kostičky), nebo i PO něm? V druhém případě možná neklasifikujete úmysl kostičkou pohnout, ale reakci na pohyb kostičky, což je jiná (a pravděpodobně snazší) úloha.
Result of defence
práce byla úspěšně obhájena
Document licence
Přístup k plnému textu prostřednictvím internetu byl licenční smlouvou omezen na dobu 3 roku/let