Využití neuronových sítí pro fúzi obrazových a neobrazových dat

Abstract

Tato diplomová práce se zabývá využitím konvolučních neuronových sítí pro fúzi obrazových a neobrazových dat. V práci jsou zkoumány jak detekční systémy využívající principy hlubokého učení spoléhající se pouze na obrazová data (snímky z kamery), tak detekční systémy, které využívají obrazová i neobrazová data (snímky z kamery a data z milimetrového radaru). Pro účely porovnání těchto typů metod (metod využívajících fúzi a metod spoléhajících se pouze na obrazová data) byla vytvořena jedinečná datová sada obsahující nezpracovaná data z milimetrového radaru a odpovídající časově synchronizované snímky z kamery zaměřená na monitorování dopravy. Dále je v této práci navržena časově synchronizační metoda pro milimetrový radar a kameru s použitím volně dostupného hardware. Za použití vytvořené datové sady je pak ověřena detekční schopnost systému využívajícího pouze data z kamery a fúzního systému využívajícího data z milimetrového radaru i kamery.

This master thesis uses convolutional neural networks to fuse image and non-image data. Both deep learning detection systems that rely only on image data (images from the camera) and that use both image and non-image data (images from the camera and data from the millimeter-wave radar) are studied in this thesis. A unique dataset containing raw millimeter-wave radar data and corresponding time-synchronized images from the camera was created for the purpose of comparing these two types of methods (data fusion methods and methods that utilize only image data). Furthermore, a time synchronization method for millimeter-wave radar and cameras using only off-the-shelf hardware is proposed. Finally, the created dataset is used to verify the detection capability of the system that uses only camera data and the fusion system that uses both millimeter-wave radar and camera data.