Posilované učení pro pohyb robota
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas.
This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.
This paper is concerned with reinforcement learning for robotic movement in simulated physical environment. These are difficult problems for reinforcement learning, where agents need to face several challenges. One of them is continuous action space, as agent usually interacts with the environment by applying force on joints of the robot. Another problem is that parts of the robot often affect each other in complex ways and are also affected by gravity, inertia and other physical effects. For these and more reasons simple reinforcement learning algorithms are not suitable for these tasks. One of recent solutions is the Soft Actor-Critic algorithm (SAC), which emerged at the same time as similarly performing TD3, and both outperforming the older DDPG. SAC agents are rewarded for behaving more randomly, thus their goal is to maximize entropy along with maximizing the reward. This paper describes usage of this algorithm for teaching agents robotic movement. It describes implementation of the algorithms using the PyTorch machine learning framework and evaluates it on environments from OpenAI Gym platform using the PyBullet physics engine. Lastly, the algorithm is applied on custom environment with robot Atlas.
Description
Citation
HÁS, D. Posilované učení pro pohyb robota [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2022.
Document type
Document version
Date of access to the full text
Language of document
cs
Study field
Informační technologie
Comittee
doc. Ing. Martin Čadík, Ph.D. (předseda)
doc. Ing. Radek Burget, Ph.D. (místopředseda)
Ing. David Bařina, Ph.D. (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
Ing. Vojtěch Mrázek, Ph.D. (člen)
Date of acceptance
2022-06-14
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D. Otázky u obhajoby: 1) V práci hodnotíte úspěšnost (ve všech grafech) hodnotou "Reward". ta ale není v práci vlastně vysvětlena. Co je tedy onou hodnotou "Reward" uváděnou v grafech, jak se měří? 2) V závěru práce uvádíte, že robot Atlas byl při trénování úspěšný. Jak tuto "úspěšnost" může vnímat čtenář práce. Čím se vlastně projevuje, jak to pozná? 3) Má hodnota "Reward" nějaké teoretické maximum?
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení