Automatická analýza dopravy z videa: Rozpoznání typů vozidel a automatické měření rychlosti

Abstract

V rámci této dizertační práce se zaměřuji na Inteligentní dopravní systémy a Počítačové vidění - především automatické měření rychlosti a rozpoznání automobilů podle typů. Rozpoznání automobilů podle typů je úkol, ve kterém system má predikovat přesný typ (např. Škoda Octavia combi mk2) pro daný obrázek automobilu. Publikoval jsem dva články, které popisují navržený přístup k tomuto problému a tvoří jádro této dizertace. Prezentovaná metoda je založena na 3D obalových kvádrech postavených okolo automobilů, které jsou následně využity pro rozbalení obrázku automobilu do roviny a tudíž normalizaci vstupu neuronové sítě, která dělá následné rozpoznání. Přístup byl dále rozpracován v druhé publikaci, kde je navržena metoda pro určení tohoto 3D obalového kvádru z jediného obrázku - tudíž není nutné mít zkalibrovanou kameru. Experimentální výsledky ukazují, že navržená metoda zlepšuje úspěšnost rozpoznání o 12 procentních bodů - chyba rozpoznání je redukována o 50 procent.Při měření rychlosti má systém za úkol odhadnout rychlost projíždějících aut z videa. Cílem je také, ať měření probíhá plně automaticky bez jakékoli manuální kalibrace. Jelikož neexistoval žádný dataset, který by obsahoval velké množství průjezdů s přesně změřenou rychlostí, tak jsme nejprve takovýto dataset pořídili. Dále jsem navrhnul metodu pro plně automatickou kalibraci dopravní dohledové kamery což umožňuje měřit rychlost automobilů pozorovaných touto kamerou. Metoda je založena na odhadu kalibrace pomocí detekovaných úběžníků scény a následného zarovnání 3D modelů několika běžných typů automobilů. Experimentální výsledky ukazují, že navržená metoda dosahuje průměrné chyby měření rychlosti 1,10 km/h.

This thesis presents my contributions to the state-of-the-art in Intelligent Transportation Systems and Computer Vision. Specifically, the work is focused on two tasks -- automatic speed measurement of vehicles and fine-grained recognition of vehicles. The problem of vehicle fine-grained recognition can be defined as a task where the system is supposed to produce exact fine-grained type (e.g. "Škoda Octavia combi mk2") for a presented vehicle. In my first paper on this topic, a method exploiting automatically constructed 3D bounding boxes around vehicles is proposed. The results show that the method significantly improves classification and verification accuracy. Further improvements and analysis of the approach was published in my second paper dealing with the problem. The improved approach eliminates necessity to know vanishing points a priori - it is possible to construct the 3D bounding box of the vehicle from a single image of the vehicle. The results show that our proposed method consistently improves classification accuracy by up to 12 percentage points with different Convolutional Neural Networks. The classification error was also reduced by up to 50 %.The second addressed problem is automatic speed measurement of vehicles. The proposed system should work from a single camera without any manual calibration or input. First, we had to collect a large dataset with precise ground truth speed measurements as there was no such dataset. The dataset contains over 20,000 vehicles with ground truth speed measurement acquired from two synchronized LIDAR optical gates. Furthermore, we proposed a method for fully automatic traffic surveillance camera calibration enabling precise speed measurement of vehicles. The approach is based on vanishing point estimation and 3D model alignment of several common vehicle models. The experimental results show that our method achieves 1.10 km/h mean speed measurement error while outperforming both state-of-the-art methods and manual calibration in the speed measurement task.