Detekce osob s použitím radaru

Abstract

Cieľom tejto práce je výzkum použiteľnosti techník hlbokého učenia na mračnách bodov generovaných radarmi, ktoré operujú v pásme milimetrových vĺn; na účely porozumenia 3D scénam a rozpoznávania osôb. Radar je systém, ktorý využíva rádiové vlny na získavanie informácií o vzdiaľenosti a smere k objektu a o jeho rýchlosti. Na základe týchto dát je možné určiť pozíciu každého detekovaného bodu v priestore. Množina takýchto bodov sa nazýva mračno bodov. Hlboké neurónové siete navrhnuté na prácu s riedkymi mračnami bodov v 3D môžu byť natrénované na segmentáciu radarových mračien, detekciu a klasifikáciu objektov a sledovanie ich pohybu v priestore. Systémy, ktoré sú na nich postavené, môžu predstavovať veľký pokrok v oblasti interpretácie 3D scén autonómnymi strojmi. V rámci tejto práce bol model budujúci na súčasnom stave techniky natrénovaný na detekciu a klasifikáciu objektov a osôb, na základe radarových mračien bodov v 3D. Na ukážku robustnosti natrénovaného modelu a priamočiarosti jeho zapojenia na riešenie významných úloh z reálneho sveta, bola implementovaná aplikácia na počítanie a klasifiká ciu ľudí. Presnosť využitých metód aj výsledného systému bola dôkladne vyhodnotená na súbore dát vytvorenom v rámci tejto práce z radarových mračien bodov, ktorý pozostáva z viac, než 19 500 anotovaných objektov.

This thesis aims to research the applicability of deep learning methods on point clouds generated by millimeter-wave radars, as a solution for people detection, and 3D scene understanding in general. Radar is a system that uses radio waves to determine the distance, azimuth, and velocity of surrounding objects. For each point of detection, Cartesian coordinates can be calculated, to produce a set of points in 3D space called a point cloud. Deep neural network architectures designed to operate on sparse 3D point clouds can be trained for point-wise segmentation, object detection, classification, and tracking. This can be used to greatly advance the 3D scene understanding by machines. A model based on the state-of-the-art methods for object detection and classification on sparse point clouds was trained as a part of this thesis, for the purpose of people detection. To showcase the robustness of the trained model and the straightforwardness of its applicability to solve prominent real-world tasks of scene understanding, a people counting application was developed. The employed methods were thoroughly evaluated on a dataset created as a part of this thesis, consisting of over 19,500 labels on 3D radar point clouds.