System for People Detection and Localization Using Thermal Imaging Cameras
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
V dnešním světě je neustále se zvyšující poptávka po spolehlivých automatizovaných mechanismech pro detekci a lokalizaci osob pro různé účely -- od analýzy pohybu návštěvníků v muzeích přes ovládání chytrých domovů až po hlídání nebezpečných oblastí, jimiž jsou například nástupiště vlakových stanic. Představujeme metodu detekce a lokalizace osob s pomocí nízkonákladových termálních kamer FLIR Lepton 3.5 a malých počítačů Raspberry Pi 3B+. Tento projekt, navazující na předchozí bakalářský projekt "Detekce lidí v místnosti za použití nízkonákladové termální kamery", nově podporuje modelování komplexních scén s polygonálními okraji a více termálními kamerami. V této práci představujeme vylepšenou knihovnu řízení a snímání pro kameru Lepton 3.5, novou techniku detekce lidí používající nejmodernější YOLO (You Only Look Once) detektor objektů v reálném čase, založený na hlubokých neuronových sítích, dále novou automaticky konfigurovatelnou termální jednotku, chráněnou schránkou z 3D tiskárny pro bezpečnou manipulaci, a v neposlední řadě také podrobný návod instalace detekčního systému do nového prostředí a další podpůrné nástroje a vylepšení. Výsledky nového systému demonstrujeme příkladem analýzy pohybu osob v Národním muzeu v Praze.
In today's world, there is an increasing need for automatic reliable mechanisms for detecting and localizing people -- from performing people flow analysis in museums, controlling smart homes to guarding hazardous areas like railway platforms. We propose a method for detecting and locating people using low-cost FLIR Lepton 3.5 thermal cameras and a~Raspberry Pi 3B+ computers. This thesis describes the continuation of the "Detection of People in Room Using Low-Cost Thermal Imaging Camera" project, which now supports modelling of complex scenes with polygonal boundaries and multiple thermal cameras observing them. In this paper, we introduce an improved control and capture library for the Lepton 3.5, a new person detection technique that uses the state-of-the-art YOLO (You Only Look Once) real-time object detector based on deep neural networks, furthermore, a new thermal unit with automated configuration using Ansible encapsulated in a custom 3D printed enclosure for safe manipulation, and last but not least, a step by step instruction manual on how to deploy the detection system in a new environment including other supporting tools and improvements. The results of the new system are demonstrated on a~simple people flow analysis performed in the Czech National Museum in Prague.
In today's world, there is an increasing need for automatic reliable mechanisms for detecting and localizing people -- from performing people flow analysis in museums, controlling smart homes to guarding hazardous areas like railway platforms. We propose a method for detecting and locating people using low-cost FLIR Lepton 3.5 thermal cameras and a~Raspberry Pi 3B+ computers. This thesis describes the continuation of the "Detection of People in Room Using Low-Cost Thermal Imaging Camera" project, which now supports modelling of complex scenes with polygonal boundaries and multiple thermal cameras observing them. In this paper, we introduce an improved control and capture library for the Lepton 3.5, a new person detection technique that uses the state-of-the-art YOLO (You Only Look Once) real-time object detector based on deep neural networks, furthermore, a new thermal unit with automated configuration using Ansible encapsulated in a custom 3D printed enclosure for safe manipulation, and last but not least, a step by step instruction manual on how to deploy the detection system in a new environment including other supporting tools and improvements. The results of the new system are demonstrated on a~simple people flow analysis performed in the Czech National Museum in Prague.
Description
Keywords
Lepton, termální, detekce, YOLO, lokalizace, osoba, lidi, Lepton 3.5, YOLOv4, reálný čas, detektor, Raspberry Pi, neuronová síť, hluboké učení, UI, umělá inteligence, FLIR, rekonstrukce scény, zpětná projekce, bezpečnostní systém, analýza pohybu lidí, Lepton, thermal, detection, YOLO, localization, person, people, Lepton 3.5, YOLOv4, real-time, detector, Raspberry Pi, neural network, deep learning, AI, artificial intelligence, FLIR, scene reconstruction, reverse projection, security system, people flow analysis
Citation
CHARVÁT, M. System for People Detection and Localization Using Thermal Imaging Cameras [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2020.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Počítačové a vestavěné systémy
Comittee
prof. Ing. Lukáš Sekanina, Ph.D. (předseda)
doc. Ing. Zdeněk Vašíček, Ph.D. (místopředseda)
Ing. Michal Bidlo, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)
Date of acceptance
2020-08-26
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných (např. ohledně použitých knihoven, úspěšnosti detekce osob a obvodového řešení problému se zasekáváním FLIR kamery). Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A - výborně . Otázky u obhajoby: How would you solve a secure data transfer from the sensor to the cloud in real-time?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení