Hraní her pomocí neuronových sítí
Playing Games Using Neural Networks

Author
Advisor
Hradiš, MichalReferee
Kolář, MartinGrade
AAltmetrics
Metadata
Show full item recordAbstract
Cílem této práce je naučit neuronovou síť pohybu v prostředích s klasickou kontrolou řízení, hraní tahové hry 2048 a několika Atari her. Jedná se o oblast zpětnovazebního učení. Jako zpětnovazební algoritmus využívající neuronové sítě jsem použil Hluboké Q-učení. Ten jsem pro zvýšení efektivity učení obohatil o několik vylepšení. Mezi vylepšení patří přidání cílové sítě, DDQN, duální architektura neuronové sítě a prioritní vzpomínková paměť. Experimenty s klasickou kontrolou řízení zjistily, že nejvíce zvedá efektivitu učení přidání cílové sítě. V prostředích her dosáhlo Hluboké Q-učení několikanásobně lepších výsledků než náhodný hráč. Výsledky a jejich analýza mohou být využity ke vhledu do problematiky zpětnovazebních algoritmů využívajících neuronové sítě a zdokonalení použitých postupů. The aim of this bachelor thesis is to teach a neural network solving classic control theory problems and playing the turn-based game 2048 and several Atari games. It is about the process of the reinforcement learning. I used the Deep Q-learning reinforcement learning algorithm which uses a neural networks. In order to improve a learning efficiency, I enriched the algorithm with several improvements. The enhancements include the addition of a target network, DDQN, dueling neural network architecture and priority experience replay memory. The experiments with classic control theory problems found out that the learning efficiency is most increased by adding a target network. In the game environments, the Deep Q-learning has achieved several times better results than a random player. The results and their analysis can be used for an insight to reinforcement learning algorithms using neural networks and to improve the used techniques.
Keywords
Strojové učení, Zpětnovazební učení, Neuronové sítě, Q-učení, Hluboké Q-učení, Machine learning, Reinforcement learning, Neural networks, Q-learning, Deep Q-learningLanguage
čeština (Czech)Study brunch
Informační technologieComposition of Committee
prof. Ing. Adam Herout, Ph.D. (předseda) doc. Ing. Ondřej Ryšavý, Ph.D. (místopředseda) Ing. Bohuslav Křena, Ph.D. (člen) Ing. Tomáš Martínek, Ph.D. (člen) doc. RNDr. Michal Novák, Ph.D. (člen)Date of defence
2018-06-13Process of defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm výborně (A) . Otázky u obhajoby: Jaké rozšíření oproti vaší implementaci jsou nutné k hraní složitějších stavových her jako Doom, na kterých byl DQN uváděn v článku který ho prezentoval? Proč se vaše implementace DDQN přestane učit po několik desítkách tisíc epizod? Co by jí pomohlo?Result of the defence
práce byla úspěšně obhájenaPersistent identifier
http://hdl.handle.net/11012/85237Source
BUCHAL, P. Hraní her pomocí neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2018.Collections
- 2018 [278]