Webová aplikace pro grafické zadávání a spouštění Spark úloh
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
C
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto diplomová práca sa zaoberá problematikou spracovania Big data v distribuovanom systéme Apache Spark pomocou nástrojov, ktoré umožňujú vzdialené zadávanie a spúšťanie Spark úloh cez webové rozhranie. Autor v prvej časti opisuje prostredie Apache Spark, v ďalšej sa zameriava na projekt Apache Livy, ktorý ponúka REST API pre spúšťanie Spark úloh. Následne sú predstavené súčasné riešenia, ktoré umožňujú interaktívnu analýzu dát. Autor ďalej popisuje vlastný návrh aplikácie pre interaktívne zadávanie a spúšťanie Spark úloh, pomocou grafovej reprezentácie úlohy. Autor v návrhu popisuje nielen webovú časť aplikácie, ale aj serverovú časť aplikácie. Ďalej implementáciu oboch častí a v neposlednom rade demonštráciu dosiahnutého výsledku na typickej úlohe. Vytvorená aplikácia poskytuje intuitívne rozhranie pre pohodlnú prácu s prostredím Apache Spark, vytváranie vlastných komponent a k tomu aj radu ďalších možností, ktoré sú v dnešnom svete webových aplikácií štandardom.
This master's thesis deals with Big data processing in distributed system Apache Spark using tools, which allow remotely entry and execution of Spark tasks through web inter- face. Author describes the environment of Spark in the first part, in the next he focuses on the Apache Livy project, which offers REST API to run Spark tasks. Contemporary solutions that allow interactive data analysis are presented. Author further describes his own application design for interactive entry and launch of Spark tasks using graph repre- sentation of them. Author further describes the web part of the application as well as the server part of the application. In next section author presents the implementation of both parts and, last but not least, the demonstration of the result achieved on a typical task. The created application provides an intuitive interface for comfortable working with the Apache Spark environment, creating custom components, and also a number of other options that are standard in today's web applications.
This master's thesis deals with Big data processing in distributed system Apache Spark using tools, which allow remotely entry and execution of Spark tasks through web inter- face. Author describes the environment of Spark in the first part, in the next he focuses on the Apache Livy project, which offers REST API to run Spark tasks. Contemporary solutions that allow interactive data analysis are presented. Author further describes his own application design for interactive entry and launch of Spark tasks using graph repre- sentation of them. Author further describes the web part of the application as well as the server part of the application. In next section author presents the implementation of both parts and, last but not least, the demonstration of the result achieved on a typical task. The created application provides an intuitive interface for comfortable working with the Apache Spark environment, creating custom components, and also a number of other options that are standard in today's web applications.
Description
Citation
HMEĽÁR, J. Webová aplikace pro grafické zadávání a spouštění Spark úloh [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Počítačové sítě a komunikace
Comittee
doc. Ing. Ondřej Ryšavý, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (místopředseda)
doc. RNDr. Eva Hladká, Ph.D. (člen)
doc. Ing. Jiří Jaroš, Ph.D. (člen)
doc. Ing. Jan Kořenek, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)
Date of acceptance
2018-06-15
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázku oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm " C ". Otázky u obhajoby: Mohl byste ukázat příklad úlohy se složitější topologií, než je pouhá posloupnost kroků?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení