Hluboké neuronové sítě pro detekci landmarků na 3D modelu
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
A
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Detekcia významných bodov je častým krokom pri analýze medicínskych dát. Čoraz bežnejšie sú tieto dáta reprezentované vo forme 3D modelov, príkladom sú povrchové skeny zubného oblúka pacienta. Hlboké neurónové siete sú vhodný spôsob, ako detekovať významné body v obraze. V prípade 3D dát je však toto spracovanie časovo i pamäťovo náročné, čo nevyhovuje požiadavkám kladeným medicínskymi aplikáciami. V tejto práci navrhujem metódu, ktorá tento problém eliminuje a detekuje významné body na povrchu polygonálnych modelov čeľustí. V metóde sú použité rôzne architektúry neurónových sietí, založené na architektúre U-Net. Viacpohľadový prístup presúva spracovanie do 2D, kde navrhnuté architektúry detekujú body regresiou tepelných máp z niekoľkých pohľadov. Pomocou konsezus metódy je následne z týchto pohľadov určená konečná pozícia bodov v 3D priestore. V práci sú predstavené experimenty s dvoma konsenzus metódami: stredná hodnota predikcií a geometrický prístup založený na algoritme RANSAC a metóde najmenších štvorcov. Experimenty ukázali, že varianta kombinujúca Attention U-Net, 100 pohľadov a geometrickú konsenus metódu je schopná detekovať významné body s chybou 1.20 +- 1.81 mm, pričom 94.01% predikcií dosahuje chybu menšiu ako 2 mm.
Landmark detection is a frequent step during medical data analysis. More and more often, these data are represented in the form of 3D models. An example is a 3D intraoral scan of dentition. Deep neural networks are an appropriate way of detecting landmarks in images. In terms of 3D data, the processing comes with high memory requirements and computational time, which does not meet the needs of medical applications. In this work, I propose a method that eliminates this problem and detects landmarks on the surface of polygonal models of jaws. Different architectures of neural networks, all of which are based on the U-Net architecture, are used in this work. The multi-view approach transforms the task into a 2D domain, where the suggested networks detect landmarks by heatmap regression from several viewpoints. Using a consensus method, final estimates from multiple views are predicted in 3D space. This work introduces experiments with two consensus methods: a centroid of predictions and a geometric approach based on the RANSAC algorithm and least-squares fit. Experiments have shown that a combination of Attention U-Net, 100 viewpoints, and RANSAC consensus method, is able to detect landmarks with an error of 1.20 +- 1.81 mm, while 94.01% of landmarks is predicted with an error of less than 2 mm.
Landmark detection is a frequent step during medical data analysis. More and more often, these data are represented in the form of 3D models. An example is a 3D intraoral scan of dentition. Deep neural networks are an appropriate way of detecting landmarks in images. In terms of 3D data, the processing comes with high memory requirements and computational time, which does not meet the needs of medical applications. In this work, I propose a method that eliminates this problem and detects landmarks on the surface of polygonal models of jaws. Different architectures of neural networks, all of which are based on the U-Net architecture, are used in this work. The multi-view approach transforms the task into a 2D domain, where the suggested networks detect landmarks by heatmap regression from several viewpoints. Using a consensus method, final estimates from multiple views are predicted in 3D space. This work introduces experiments with two consensus methods: a centroid of predictions and a geometric approach based on the RANSAC algorithm and least-squares fit. Experiments have shown that a combination of Attention U-Net, 100 viewpoints, and RANSAC consensus method, is able to detect landmarks with an error of 1.20 +- 1.81 mm, while 94.01% of landmarks is predicted with an error of less than 2 mm.
Description
Citation
KUBÍK, T. Hluboké neuronové sítě pro detekci landmarků na 3D modelu [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2021.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
prof. Dr. Ing. Pavel Zemčík (předseda)
doc. Ing. Lukáš Burget, Ph.D. (místopředseda)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Tomáš Martínek, Ph.D. (člen)
Ing. Petr Matoušek, Ph.D., M.A. (člen)
Date of acceptance
2021-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A. Otázky u obhajoby: Proč byla jako chybová funkce zvolena RMSE místo běžněji používané MSE? V datech je nedostatek vzorků pro určité zuby (3. stoličky), což částečně omezuje dosaženou přesnost. Jak byste tento problém v budoucnu prakticky řešil, pokud by další data nebyla k dispozici?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení