Integrace, vizualizace a dolování z dat zemí světa
Integration, Visualization, and Mining from Data of World Countries

Author
Advisor
Bartík, VladimírReferee
Rychlý, MarekGrade
BAltmetrics
Metadata
Show full item recordAbstract
Tato práce se zabývá využitím otevřených dat o zemích celého světa, zejména dat v oblasti pokroku a kvality života. Cílem bylo navrhnout a implementovat webovou aplikaci pro prezentaci těchto dat a dále využít získaná data pro dolování znalostí. Integrace a zpracování dat z otevřených datových zdrojů byly realizovány pomocí platformy Apache Airflow. K vytvoření API byl využit Python framework FastAPI a k implementaci webové aplikace JavaScript knihovna ReactJS. V aplikaci jsou indikátory rozděleny do kategorií. Každý z nich lze zobrazit pro různé skupiny zemí, pro různá časová období a v několika vizualizacích. Z oblasti dolování znalostí bylo provedeno shlukování zemí na základě skupiny indikátorů a predikce budoucího vývoje vybraných indikátorů pomocí regresní analýzy. Výsledná aplikace je dostupná na adrese jakjsmenatom.cz. This thesis explores the utilization of open data about countries around the world, particularly data in the areas of progress and quality of life. The goal was to design and implement a web application to present this data and further use the data for data mining. The integration and processing of data from open data sources were accomplished using the Apache Airflow platform. The Python framework FastAPI was used to create the API and the JavaScript library ReactJS was used to implement the web application. In the application, the indicators are categorized. Each of them can be displayed for different groups of countries, for different time periods, and in several visualizations. From the domain of data mining, clustering of countries based on a group of indicators and prediction of future development of selected indicators using regression analysis was performed. The final application is available at jakjsmenatom.cz.
Keywords
Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, analýza dat, databáze, datové sklady, dolování z dat, informační systémy, integrace dat, regrese, shlukování, vizualizace dat, webové aplikace, získávání znalostí z dat, zpracování dat, Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, data analysis, databases, data warehouses, data mining, information systems, data integration, regression, clustering, data visualization, web applications, data mining, data processingLanguage
čeština (Czech)Study brunch
Počítačové sítěComposition of Committee
doc. Ing. Ondřej Ryšavý, Ph.D. (předseda) prof. RNDr. Alexandr Meduna, CSc. (místopředseda) Ing. Matěj Grégr, Ph.D. (člen) Ing. Martin Hrubý, Ph.D. (člen) doc. Ing. Petr Matoušek, Ph.D., M.A. (člen) Ing. Vladimír Veselý, Ph.D. (člen)Date of defence
2022-06-20Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Jak často probíhá získávání dat, plnění (aktualizace) databáze a následné dolování z dat? Jak dlouho tyto aktivity celkově trvají a jak by bylo možné je optimalizovat? Proč není Apache Airflow nikde nasazeno? Z jakého důvodu se data nahrávají do Github? Provádí vaše prezentační webová stránka nějaké výpočty? Řekněte více k vašemu použití Apache Airflow. Používá vaše řešení fixní zdroje dat? Co by pro váš nástroj znamenalo přidání nového zdroje dat? Jak jste volil metody predikce pro jednotlivé datové zdroje a indikátory?Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/207871Source
DUŠEK, V. Integrace, vizualizace a dolování z dat zemí světa [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.Collections
- 2022 [127]