DLUHÝ, V. Hodnocení účinnosti klasifikace pomocí ROC křivek [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2016.
Téma předložené práce je hodnocení účinnosti klasifikace pomocí ROC křivek. Na základě neúspěšné obhajoby práce v červnu 2016 na toto téma bylo studentu umožněno její dopracování a předložení k novému posouzení. Přestože měl student možnost využít pravidelných konzultací od neúspěšné obhajoby v červnu 2016, student využil pouze jedné krátké konzultace tři týdny před termínem odevzdání, přičemž posun v práci byl minimální. Po rozsáhlé zpětné vazbě a řadě návrhů a doporučení pro vylepšení práce student nerespektoval požadavky vedoucího na její dopracování a zapracoval pouze minimum návrhů, přičemž zapracování nových věcí považuji za nedostatečné. Lze konstatovat, že došlo pouze k malým změnám, které zásadně nezvýšily kvalitu předložené práce. I přes opakovaná upozornění nedošlo k dopracování metodiky ani korektuře stávajícího zápisu metodiky, k zásadnímu rozšíření způsobu výpočtu AUC plochy o navrhované metody, podrobnému rozboru stanovení prahové hodnoty pro výpočet ROC křivky, k doplnění alternativních metod k FFT, k propracování zápisu výsledků a jejich interpretaci. Došlo sice k určitému rozšíření metod výpočtu AUC plochy pomocí regresního modelování, avšak z přiloženého zpracování, chybějícímu zápisu dané metodiky, podobně jako i z interpretace výsledků je zřejmé, že student nepronikl do této problematiky dostatečně. Vzhledem k chybějícím výpisům kódů v příloze, které student z neznámých důvodů oproti neobhájené verzi z práce vypustil, není zřejmé, proč pro regresní modelování nevyužil prostředí Matlab, ale Excel a jakým způsobem provázal analýzu v obou prostředích. V případě rozšíření v oblasti časového posunutí sirény a zařazení sirény s tramvajovým vzorcem pouze uvádí, že došlo k „drobnému“ selhání metody výpočtu ROC křivky. Ačkoliv je v zadání bakalářské práce stanoveno, že má student vytvořit výpočtovou proceduru pro hodnocení účinnosti klasifikace ROC křivek prostřednictvím metod výpočtu AUC plochy, nelze konstatovat, že student tento cíl naplnil. Student neumožnil vyzkoušet zpracované procedury. Tyto procedury nejsou v práci uvedeny, přiložené CD není možné otevřít a ani kódy nejsou vloženy do univerzitního systému. Výpočty tak nelze replikovat či ověřit. Při vyžádání tyto procedury před odevzdáním práce student nepředložil. Samotná práce studenta je zaznamenána na str. 14-29, vlastní práce na tvorbě procedury pak na str. 20 na cca 4 řádky. Toto se jeví pro rozsah bakalářské práce nedostačující. Navíc, student na str. 18 uvádí proceduru pro výpočet ROC křivky „rocmy“, která je modifikací ve formě přepisu označení proměnných oproti verzi „roc“, kterou student obdržel od vedoucího práce (viz. BP z VI. 2016) a jejíž interpretaci v práci popisuje (s. 19). Stávající zápis pak budí dojem vlastní práce, což bohužel za vlastní práci studenta považovat nelze. Navíc zde není jasné, co tedy student pro výpočet použil.
Předložená práce je po formální stránce vyhovující, vyskytují se v ní nepříliš významné překlepy či problematické formulace, terminologie a značení. Problematická je však část popisující vlastní řešení, tedy aplikaci pro načítání, analýzu spekter a vyhodnocení ROC křivek. Přiložené CD není možné načíst (ani na několika různých mechanikách) a odkazované zdrojové kódy tedy nemohu hodnotit. Algoritmus klasifikace signálů do jednotlivých tříd je uveden na str. 18. Vzhledem k chaotickému značení vstupních vektorů, není zřejmé, co obsahují (dle popisu by to měly být spektrogramy, kód však spíše působí, jako by to byly okamžité hodnoty). V první kapitole a v diagramu na obr. 3.1 je avizována metodika používající kmitočtová spektra (viz otázka 1). Pro samotné zpracování ROC křivek byla použita pouze jedna metoda, jako výsledky jsou prezentovány ROC křivky různých signálů, chybí zadáním požadované „hodnocení účinnosti klasifikace (více) metod výpočtu AUC plochy“. Vzhledem k uvedeným připomínkám hodnotím práci 50 body, tedy na samé hranici akceptovatelnosti.
eVSKP id 96148