모델 프리 강화학습 정책을 적용한 호기심 기반 TD-MPC (Curiosity-Driven TD-MPC with Model-Free Reinfocement Learning Policy)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 48권 / 6호 / 712 ~ 721페이지
· 저자명 : 지창훈, 김주봉, 한연희

초록

최근 모델 기반 강화학습 알고리즘 중 가장 높은 성능을 가지고 있는 TD-MPC는 학습 과정에서 모델 예측 제어와 DDPG 에이전트로부터 행동을 추출한다. 하지만 DDPG 에이전트는 추출된 행동은 환경에 적용되지 않고, 모델 예측 제어로부터 추출된 행동만 환경에 적용한다. 본 논문에서는 TD-MPC가 가지고 있는 DDPG 에이전트와 모델 예측 제어를 모두 고려하여 환경에 적용하는 이중 정책을 활용한 향상된 TD-MPC를 제안한다. 또한, 호기심 기반으로 탐험을 장려하여 이중 정책 사이에서 행동을 선택할 때 발생할 수 있는 활용의 편향을 해결하였다.
DeepMind Control Suite의 여러 환경에서 제안하는 알고리즘이 기존의 TD-MPC보다 높은 샘플 효율성과 높은성능을 가지고 있음을 확인한다.

영어초록

TD-MPC, which has the highest performance among recent model-based reinforcement learning algorithms, extracts behaviors from model predictive control and DDPG agents in the learning process. However, the DDPG agent does not apply the extracted behavior to the environment, but only applies the behavior extracted from model predicted control to the environment. In this paper, we propose an enhanced TD-MPC that utilizes a dual policy that applies to the environment by considering both the DDPG agent and model predictive control of TD-MPC. In addition, by encouraging exploration based on curiosity, bias in utilization that can occur when choosing an action between dual policies is addressed. It is confirmed that the algorithm proposed in various environments of the DeepMind Control Suite has higher sample efficiency and higher performance than the existing TD-MPC.

참고자료

· 없음