Využití opakovaně posilovaného učení pro řízení čtyřnohého robotu

Abstract

Disertační práce je zaměřena na využití opakovaně posilovaného učení pro řízení chůze čtyřnohého robotu. Hlavním cílem je předložení adaptivního řídicího systému kráčivého robotu, který budem schopen plánovat jeho chůzi pomocí algoritmu Q-učení. Tohoto cíle je dosaženo komplexním návrhem třívrstvé architektury založené na paradigmatu DEDS. Předkládané řešení je vystavěno na návrhu množiny elementárních reaktivních chování. Prostřednictvím simultáních aktivací těchto elementů je vyvozena množina kompozitních řídicích členů. Obě množiny zákonů řízení jsou schopny operovat nejen na rovinném, ale i v členitém terénu. Díky vhodné diskretizaci spojitého stavového prostoru je sestaven model všechn možných chování robotu pod vlivem aktivací uvedených základních i složených řídicích členů. Tento model chování je využit pro nalezení optimálních strategií řízení robotu prostřednictvím schématu Q-učení. Schopnost řídicí jednotky je ukázána na řešení tří komplexních úloh: rotace robotu, chůze robotu v přímém směru a chůze po nakloněné rovině. Tyto úlohy jsou řešeny prostřednictvím prostorových dynamických simulací čtyřnohého kráčivého robotu se třemi stupni volnosti na každou z noh. Výsledné styly chůze jsou vyhodnoceny pomocí kvantitativních standardizovaných ukazatelů. Součástí práce jsou videozáznamy verifikačních experimentů ukazující činnost elementárních a kompozitních řídicích členů a výsledné naučené styly chůze robotu.

The Ph.D. thesis is focused on using the reinforcement learning for four legged robot control. The main aim is to create an adaptive control system of the walking robot, which will be able to plan the walking gait through Q-learning algorithm. This aim is achieved using the design of the complex three layered architecture, which is based on the DEDS paradigm. The small set of elementary reactive behaviors forms the basis of proposed solution. The set of composite control laws is designed using simultaneous activations of these behaviors. Both types of controllers are able to operate on the plain terrain as well as on the rugged one. The model of all possible behaviors, that can be achieved using activations of mentioned controllers, is designed using an appropriate discretization of the continuous state space. This model is used by the Q-learning algorithm for finding the optimal strategies of robot control. The capabilities of the control unit are shown on solving three complex tasks: rotation of the robot, walking of the robot in the straight line and the walking on the inclined plane. These tasks are solved using the spatial dynamic simulations of the four legged robot with three degrees of freedom on each leg. Resulting walking gaits are evaluated using the quantitative standardized indicators. The video files, which show acting of elementary and composite controllers as well as the resulting walking gaits of the robot, are integral part of this thesis.