Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
The thesis is concerned with scalable pre-processing of data using Hadoop tool which is used for processing of large volumes of data. In the first theoretical part it focuses on explaining of functioning and structure of the basic elements of Hadoop distributed file system and MapReduce methods for parallel processing. The latter practical part of the thesis describes the implementation of basic Hadoop cluster in pseudo-distributed mode for easy program-debugging, and also describes an implementation of Hadoop cluster in fully-distributed mode for simulation in practice.
The thesis is concerned with scalable pre-processing of data using Hadoop tool which is used for processing of large volumes of data. In the first theoretical part it focuses on explaining of functioning and structure of the basic elements of Hadoop distributed file system and MapReduce methods for parallel processing. The latter practical part of the thesis describes the implementation of basic Hadoop cluster in pseudo-distributed mode for easy program-debugging, and also describes an implementation of Hadoop cluster in fully-distributed mode for simulation in practice.
Description
Citation
MARINIČ, M. Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop [online]. Brno: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií. 2012.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Teleinformatika
Comittee
prof. Ing. Jiří Mišurec, CSc. (předseda)
doc. Ing. Petr Sysel, Ph.D. (místopředseda)
Ing. Martin Sýkora (člen)
doc. Ing. Radim Burget, Ph.D. (člen)
prof. Ing. Jaroslav Koton, Ph.D. (člen)
Ing. Radim Číž, Ph.D. (člen)
Ing. Vladimír Červenka, Ph.D. (člen)
Date of acceptance
2012-06-13
Defence
BARS: Rozdělení sítí podle spojování? Spojování okruhů, spojování paketů. Spojování buněk.
BMDS: Jaké protokoly se používají u videokonferencí? H323. RTP a RTCP? Popsání principu.
BMVA: Neznámý odpor, jak změřit pomocí A metru a V metru? Správné zapojení. Jaký má být vnitřní odpor voltmetru a ampérmetru? V metr velký, A metr malý.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení