Posilované učení pro pohyb robota

Abstract

Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas.

This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.