Inkrementální stahování webu pomocí systému Bubing
Incremental Web Crawling With Bubing System
Abstract
Tato bakalářská práce se zabývá úpravou systému BUbiNG pro takzvané inkrementální stahování. V práci jsou dále popsány hlavní problémy spojené s inkrementálním stahováním internetu a využití dalších open-source systémů pro inkrementální stahování. Upravený systém podporuje opětovné navštěvování stránek pomocí dvou běžně používaných strategií. První ze strategií opětovně navštěvuje stránku vždy po stejném intervalu. Druhá strategie přizpůsobuje interval mezi návštěvami podle frekvence změn stránky. This bachelor thesis deals with modification of BUbiNG system for incremental crawling. The paper describes the main problems related to incremental Internet crawling and the use of other open-source systems for incremental crawling. As a result, BUbiNG system supports re-visiting pages using two commonly used strategies. The first strategy always re-visits page after the same interval. The second strategy adjusts the interval between visits according to the frequency of page changes.
Keywords
BUbiNG, webový prohledávací modul, inkrementální stahování, duplicita textu, politika opětovných návštěv, BUbiNG, web crawler, incremental crawling, duplicity detection, re-visit policyLanguage
čeština (Czech)Study brunch
Informační technologieComposition of Committee
doc. Dr. Ing. Petr Hanáček (předseda) doc. Ing. Martin Čadík, Ph.D. (místopředseda) doc. RNDr. Dana Hliněná, Ph.D. (člen) Ing. Tomáš Martínek, Ph.D. (člen) Ing. Petr Matoušek, Ph.D., M.A. (člen)Date of defence
2018-06-14Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm "A".Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/85150Source
ONDŘEJ, K. Inkrementální stahování webu pomocí systému Bubing [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.Collections
- 2018 [278]