Zpracování velkých dat z rozsáhlých IoT sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie.
The goal of this diploma thesis is to design and develop a system for collecting, processing and storing data from large IoT networks. The developed system introduces a complex solution able to process data from various IoT networks using Apache Hadoop ecosystem. The data are real-time processed and stored in a NoSQL database, but the data are also stored in the file system for a potential later processing. The system is optimized and tested using data from IQRF network. The data stored in the NoSQL database are visualized and the system periodically generates derived predictions. Users are connected to this system via an information system, which is able to automatically generate notifications when monitored values are out of range.
The goal of this diploma thesis is to design and develop a system for collecting, processing and storing data from large IoT networks. The developed system introduces a complex solution able to process data from various IoT networks using Apache Hadoop ecosystem. The data are real-time processed and stored in a NoSQL database, but the data are also stored in the file system for a potential later processing. The system is optimized and tested using data from IQRF network. The data stored in the NoSQL database are visualized and the system periodically generates derived predictions. Users are connected to this system via an information system, which is able to automatically generate notifications when monitored values are out of range.
Description
Keywords
BigData, IoT, Apache, Hadoop, databáza, NoSQL, distribuovaný súborový systém, Java, real-time, HDFS, Flume, Spark, informačný systém, OpenTSDB, Grafana, HBase, Avro, dávkové spracovanie, lineárna regresia, predikcie, Ambari, IQRF, BigData, IoT, Apache, Hadoop, database, NoSQL, distributed file system, Java, real-time, HDFS, Flume, Spark, information system, OpenTSDB, Grafana, HBase, Avro, batch processing, linear regression, predictions, Ambari, IQRF
Citation
BENKŐ, K. Zpracování velkých dat z rozsáhlých IoT sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační systémy
Comittee
prof. Ing. Tomáš Hruška, CSc. (předseda)
doc. Dr. Ing. Dušan Kolář (místopředseda)
doc. Ing. Vladimír Janoušek, Ph.D. (člen)
Mgr. Kamil Malinka, Ph.D. (člen)
doc. Ing. Jiří Rybička, Dr. (člen)
RNDr. Marek Rychlý, Ph.D. (člen)
Date of acceptance
2019-06-20
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Plánujete navržený systém dále rozšiřovat a reálně využít v praxi? Považujete 100 událostí měření teploty za sekundu jako "big data"?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení