Automatické rozpoznávání tabulek pomocí neuronových sítí
Neural Networks for Automatic Table Recognition

Author
Advisor
Hradiš, MichalReferee
Španěl, MichalGrade
AAltmetrics
Metadata
Show full item recordAbstract
Tato práce seznamuje čtenáře se současnými technikami rozpoznávání tabulek, které se používají především k získávání informací z ručně psaných nebo tištěných historických tabulek. Představujeme také metodu založenou na grafové neuronové síti, která je inspirována představenými přístupy. Metoda se skládá ze tří fází: fáze inicializace grafu, fáze klasifikace uzlů/hran a fáze transformace grafu na text. Ve fázi inicializace grafu používáme algoritmus viditelnosti uzlů a OCR k vytvoření počáteční grafové reprezentace vstupní tabulky. Ve fázi klasifikace uzlů a hran jsou uzly a hrany klasifikovány a ve fázi transformace grafu na text zarovnáváme uzly grafu do mřížky, která je pak použita k vytvoření konečné textové reprezentace tabulky. Náš implementovaný model byl schopen dosáhnout přesnosti 68 % u detekce horizontálních sousedů, přesnosti 71 % u detekce vertikálních sousedů a přesnosti 83 % u detekce buněk na datové sadě ABP. This thesis introduces the reader to the current table recognition techniques mainly used to extract information from historical handwritten and printed tables. We also introduce a method based on graph neural network, which is inspired by the presented techniques. The method consists of three phases: graph initialization, node/edge classification and graph to text transformation phase. In the graph initialization phase, we use the node visibility algorithm and OCR to create an initial graph representation of the input table. In the node and edge classification phase, the nodes and edges are classified, and in the graph to text transformation phase, we fit the graph's nodes into a grid which is then used to produce the final text representation of the table. The implemented model achieved horizontal neighbours detection precision of 68 %, vertical neighbours detection precision of 71 % and cell detection precision of 85 % on the ABP dataset.
Keywords
rozpoznávání tabulek, grafové neuronové sítě, neuronová síť Transformer, nalezení hran, nalezení uzlů, opticke rozpoznávání znaků, inicializace grafu, hodnocení rozpoznávání tabulek, table recognition, graph neural network, transformer neural network, edge discover, node discovery, optical character recognition, table recognition datasets, graph initialization, table recognition evaluationLanguage
angličtina (English)Study brunch
Počítačové viděníComposition of Committee
prof. Dr. Ing. Pavel Zemčík, dr. h. c. (předseda) doc. Ing. Martin Čadík, Ph.D. (místopředseda) Ing. Vítězslav Beran, Ph.D. (člen) Ing. Roman Juránek, Ph.D. (člen) Ing. Zbyněk Křivka, Ph.D. (člen) Ing. Tomáš Milet, Ph.D. (člen)Date of defence
2022-06-20Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Jak byly trénovány CNN pro extrakci vizuálních příznaků pro buňky a hrany? Využíváte nějak informaci o klasifikaci buněk z trénovacích dat? Výstupy OCR využíváte jako vstup Vaší metody i pro tvorbu ground truth anotací. Jak kvalitní jsou výstupy OCR a jaký mají dopad na přesnost rozpoznání tabulek? Zvládá kupříkladu vertikální text? Jak si poradí s textem přetékajícím do sousedních buněk? Dle tabulky 6.2 se zdá, že detekce strukturovaných záhlaví je problematická a síť buňky záhlaví klasifikuje jako datové. Zvažoval jste řešení pro tento problém? Problematická je i detekce prázdných buňek. Jsou prázdné buňky významné pro další zpracování rozpoznaných tabulek? Jak by vypadaly výsledky Vaší metody, pokud byste prázdné buňky při výpočtu metrik vyloučil?Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/207853Source
PIWOWARSKI, L. Automatické rozpoznávání tabulek pomocí neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.Collections
- 2022 [127]