Využití neuronových sítí pro fúzi obrazových a neobrazových dat
Exploitation of Neural Networks for Fusion of Image and Non-Image Data

Author
Advisor
Zemčík, PavelReferee
Maršík, LukášGrade
AAltmetrics
Metadata
Show full item recordAbstract
Tato diplomová práce se zabývá využitím konvolučních neuronových sítí pro fúzi obrazových a neobrazových dat. V práci jsou zkoumány jak detekční systémy využívající principy hlubokého učení spoléhající se pouze na obrazová data (snímky z kamery), tak detekční systémy, které využívají obrazová i neobrazová data (snímky z kamery a data z milimetrového radaru). Pro účely porovnání těchto typů metod (metod využívajících fúzi a metod spoléhajících se pouze na obrazová data) byla vytvořena jedinečná datová sada obsahující nezpracovaná data z milimetrového radaru a odpovídající časově synchronizované snímky z kamery zaměřená na monitorování dopravy. Dále je v této práci navržena časově synchronizační metoda pro milimetrový radar a kameru s použitím volně dostupného hardware. Za použití vytvořené datové sady je pak ověřena detekční schopnost systému využívajícího pouze data z kamery a fúzního systému využívajícího data z milimetrového radaru i kamery. This master thesis uses convolutional neural networks to fuse image and non-image data. Both deep learning detection systems that rely only on image data (images from the camera) and that use both image and non-image data (images from the camera and data from the millimeter-wave radar) are studied in this thesis. A unique dataset containing raw millimeter-wave radar data and corresponding time-synchronized images from the camera was created for the purpose of comparing these two types of methods (data fusion methods and methods that utilize only image data). Furthermore, a time synchronization method for millimeter-wave radar and cameras using only off-the-shelf hardware is proposed. Finally, the created dataset is used to verify the detection capability of the system that uses only camera data and the fusion system that uses both millimeter-wave radar and camera data.
Keywords
počítačové vidění, hluboké učení, strojové učení, fúze dat, fúze informací, detekce objektů, konvoluční neuronová síť, kamera, milimetrový radar, obrazová data, neobrazová data, computer vision, deep learning, machine learning, data fusion, object detection, convolutional neural network, camera, millimeter-wave radar, image data, non-image dataLanguage
čeština (Czech)Study brunch
Inteligentní systémyComposition of Committee
doc. Ing. Richard Růžička, Ph.D., MBA (předseda) doc. Ing. Ondřej Ryšavý, Ph.D. (místopředseda) doc. Ing. Vladimír Drábek, CSc. (člen) doc. Ing. Petr Matoušek, Ph.D., M.A. (člen) doc. Mgr. Adam Rogalewicz, Ph.D. (člen) doc. Ing. František Zbořil, Ph.D. (člen)Date of defence
2022-08-25Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Přineslo by využití 3D módu (včetně elevace) radaru nějaké zlepšení místo aktuálně využitého 2D (pouze range/azimuth). Snímá 2D režim jen rovinu a nebo agregaci z kuželu? Pomohlo by fúzní metodě prahování range/azimuth prostoru do podoby jednotlivých bodů? Nebo si toto dokáže zařídit sama? Bude vaše práce někde prakticky nasazena? Jaký je dosah použitého radaru? Jsou nějaká prostředí, ve kterých radar hůře funguje? Jak by jste vyhodnotil praktickou použitelnost vašeho řešení? Jak vysokou rychlostí se můžou objekty pohybovat, aby byly stále detekovatelné?Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/208305Source
REICH, B. Využití neuronových sítí pro fúzi obrazových a neobrazových dat [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.Collections
- 2022 [127]