Využití aproximovaných aritmetických obvodů v neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
B
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Táto práca sa zaoberá využitím aproximovaných obvodov v neurónových sieťach so zámerom prínosu energetických úspor. K tejto téme už existujú štúdie, avšak väčšina z nich bola príliš špecifická k aplikácii alebo bola demonštrovaná v malom rozsahu. Pre dodatočné preskúmanie možností sme preto skrz netriviálne modifikácie open-source frameworku TensorFlow vytvorili platformu umožňujúcu simulovať používanie approximovaných obvodov na populárnych a robustných neurónových sieťach ako Inception alebo MobileNet. Bodom záujmu bolo nahradenie väčšiny výpočtovo náročných častí konvolučných neurónových sietí, ktorými sú konkrétne operácie násobenia v konvolučnách vrstvách. Experimentálne sme ukázali a porovnávali rozličné varianty a aj napriek tomu, že sme postupovali bez preučenia siete sa nám podarilo získať zaujímavé výsledky. Napríklad pri architektúre Inception v4 sme získali takmer 8% úspor, pričom nedošlo k žiadnemu poklesu presnosti. Táto úspora vie rozhodne nájsť uplatnenie v mobilných zariadeniach alebo pri veľkých neurónových sieťach s enormnými výpočtovými nárokmi.
This thesis is concerned with the utilization of approximate circuits in neural networks to provide energy savings. Various studies showing interesting results already exist, but most of them were very application specific or demonstrated on a small scale. To take this further, we created a platform by nontrivial modifications of robust open-source framework Tensorflow allowing us to simulate approximate computing on known state-of-the-art neural networks e.g. Inception or MobileNet. We focused only on replacement of most computationally expensive parts of convolutional neural networks, which are multiplication operations in convolution layers. We experimentally demonstrated and compared various setups and even that we proceeded without relearning, we were able to obtain promising results. For example, with zero accuracy loss on Inception v4 architecture, we gained almost 8% energy savings which could be valuable, especially in low-power devices or in large neural networks with enormous computational demands.
This thesis is concerned with the utilization of approximate circuits in neural networks to provide energy savings. Various studies showing interesting results already exist, but most of them were very application specific or demonstrated on a small scale. To take this further, we created a platform by nontrivial modifications of robust open-source framework Tensorflow allowing us to simulate approximate computing on known state-of-the-art neural networks e.g. Inception or MobileNet. We focused only on replacement of most computationally expensive parts of convolutional neural networks, which are multiplication operations in convolution layers. We experimentally demonstrated and compared various setups and even that we proceeded without relearning, we were able to obtain promising results. For example, with zero accuracy loss on Inception v4 architecture, we gained almost 8% energy savings which could be valuable, especially in low-power devices or in large neural networks with enormous computational demands.
Description
Citation
MATULA, T. Využití aproximovaných aritmetických obvodů v neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2019.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Management a informační technologie
Comittee
doc. RNDr. Jitka Kreslíková, CSc. (předseda)
doc. Ing. Jaroslav Zendulka, CSc. (místopředseda)
Ing. David Bařina, Ph.D. (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
doc. Ing. Peter Chudý, Ph.D., MBA (člen)
Doc. Ing. Ivan Polášek, Ph.D. (člen)
Date of acceptance
2019-06-17
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B. Otázky u obhajoby: Jaké kroky je nutné provést pro aproximaci existujícího modelu neuronové sítě? Souvisí počet operací v aproximované konvoluční vrstvě s poklesem přesnosti celé sítě? (obrázky 5.7 a 5.8)
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení