Hraní her pomocí neuronových sítí

Abstract

Cílem této práce je naučit neuronovou síť pohybu v prostředích s klasickou kontrolou řízení, hraní tahové hry 2048 a několika Atari her. Jedná se o oblast zpětnovazebního učení. Jako zpětnovazební algoritmus využívající neuronové sítě jsem použil Hluboké Q-učení. Ten jsem pro zvýšení efektivity učení obohatil o několik vylepšení. Mezi vylepšení patří přidání cílové sítě, DDQN, duální architektura neuronové sítě a prioritní vzpomínková paměť. Experimenty s klasickou kontrolou řízení zjistily, že nejvíce zvedá efektivitu učení přidání cílové sítě. V prostředích her dosáhlo Hluboké Q-učení několikanásobně lepších výsledků než náhodný hráč. Výsledky a jejich analýza mohou být využity ke vhledu do problematiky zpětnovazebních algoritmů využívajících neuronové sítě a zdokonalení použitých postupů.

The aim of this bachelor thesis is to teach a neural network solving classic control theory problems and playing the turn-based game 2048 and several Atari games. It is about the process of the reinforcement learning. I used the Deep Q-learning reinforcement learning algorithm which uses a neural networks. In order to improve a learning efficiency, I enriched the algorithm with several improvements. The enhancements include the addition of a target network, DDQN, dueling neural network architecture and priority experience replay memory. The experiments with classic control theory problems found out that the learning efficiency is most increased by adding a target network. In the game environments, the Deep Q-learning has achieved several times better results than a random player. The results and their analysis can be used for an insight to reinforcement learning algorithms using neural networks and to improve the used techniques.