Integrace, vizualizace a dolování z dat zemí světa
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá využitím otevřených dat o zemích celého světa, zejména dat v oblasti pokroku a kvality života. Cílem bylo navrhnout a implementovat webovou aplikaci pro prezentaci těchto dat a dále využít získaná data pro dolování znalostí. Integrace a zpracování dat z otevřených datových zdrojů byly realizovány pomocí platformy Apache Airflow. K vytvoření API byl využit Python framework FastAPI a k implementaci webové aplikace JavaScript knihovna ReactJS. V aplikaci jsou indikátory rozděleny do kategorií. Každý z nich lze zobrazit pro různé skupiny zemí, pro různá časová období a v několika vizualizacích. Z oblasti dolování znalostí bylo provedeno shlukování zemí na základě skupiny indikátorů a predikce budoucího vývoje vybraných indikátorů pomocí regresní analýzy. Výsledná aplikace je dostupná na adrese jakjsmenatom.cz.
This thesis explores the utilization of open data about countries around the world, particularly data in the areas of progress and quality of life. The goal was to design and implement a web application to present this data and further use the data for data mining. The integration and processing of data from open data sources were accomplished using the Apache Airflow platform. The Python framework FastAPI was used to create the API and the JavaScript library ReactJS was used to implement the web application. In the application, the indicators are categorized. Each of them can be displayed for different groups of countries, for different time periods, and in several visualizations. From the domain of data mining, clustering of countries based on a group of indicators and prediction of future development of selected indicators using regression analysis was performed. The final application is available at jakjsmenatom.cz.
This thesis explores the utilization of open data about countries around the world, particularly data in the areas of progress and quality of life. The goal was to design and implement a web application to present this data and further use the data for data mining. The integration and processing of data from open data sources were accomplished using the Apache Airflow platform. The Python framework FastAPI was used to create the API and the JavaScript library ReactJS was used to implement the web application. In the application, the indicators are categorized. Each of them can be displayed for different groups of countries, for different time periods, and in several visualizations. From the domain of data mining, clustering of countries based on a group of indicators and prediction of future development of selected indicators using regression analysis was performed. The final application is available at jakjsmenatom.cz.
Description
Keywords
Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, analýza dat, databáze, datové sklady, dolování z dat, informační systémy, integrace dat, regrese, shlukování, vizualizace dat, webové aplikace, získávání znalostí z dat, zpracování dat, Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, data analysis, databases, data warehouses, data mining, information systems, data integration, regression, clustering, data visualization, web applications, data mining, data processing
Citation
DUŠEK, V. Integrace, vizualizace a dolování z dat zemí světa [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Počítačové sítě
Comittee
doc. Ing. Ondřej Ryšavý, Ph.D. (předseda)
prof. RNDr. Alexandr Meduna, CSc. (místopředseda)
Ing. Matěj Grégr, Ph.D. (člen)
Ing. Martin Hrubý, Ph.D. (člen)
doc. Ing. Petr Matoušek, Ph.D., M.A. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
Date of acceptance
2022-06-20
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Jak často probíhá získávání dat, plnění (aktualizace) databáze a následné dolování z dat? Jak dlouho tyto aktivity celkově trvají a jak by bylo možné je optimalizovat? Proč není Apache Airflow nikde nasazeno? Z jakého důvodu se data nahrávají do Github? Provádí vaše prezentační webová stránka nějaké výpočty? Řekněte více k vašemu použití Apache Airflow. Používá vaše řešení fixní zdroje dat? Co by pro váš nástroj znamenalo přidání nového zdroje dat? Jak jste volil metody predikce pro jednotlivé datové zdroje a indikátory?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení