Q-학습을 이용한 소코반 풀이에서 하이퍼-파라미터 분석 (Analysis of Hyper-parameters in Solving Sokoban using Q-learning)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 20권 / 11호 / 65 ~ 72페이지
· 저자명 : 장지영, 권기현

초록

본 논문에서는 Q-학습을 이용하여 소코반을 풀이한다. Q-학습은 환경의 현재 상태에 따라 무작위의 행동을 선택하여 탐험을 진행하거나 학습의 활용을 통하여 최대의 보상을 얻을 수 있는 행동을 선택한다. 최적의 Q-테이블을 만들기 위한 과정에서 학습에 영향을 미치는 학습율, 할인율 그리고 감소율 3가지의 하이퍼-파라미터 값을 모든 조합으로 변경하며 학습 성공률을 비교 분석하였다. 이를 이용해 하이퍼-파라미터 값을 각각 학습율은 0.3, 할인율은 0.9 그리고 감소율은 0.9로 고정하고 하나의 값만을 0에서부터 1까지 0.01씩 변경하며 소코반 풀이에 성공과 실패를 결정하는 Q-테이블에 대한 평가를 진행하였다. 그 결과, 소코반 학습과 풀이 평가에 가장 좋은 학습 결과를 제공할 수 있는 하이퍼-파라미터 값을 도출하였다. 감소율의 값이 0.2 부근 일 때 학습 성공률이 가장 컸으며, 감소율을 0.96으로 지정했을 때 최적의 풀이에 가까운 학습에 성공하였다.

영어초록

In this paper, we solve Sokoban using Q-learning algorithm. Q-learning selects random actions according to the current state of the environment to proceed with exploration or select actions that can obtain maximum rewards through the use of learning. We analyzed and compared the learning success rate by changing the values of learning rate, discount factor and decay rate to all combinations which are three hyper-parameters that affect on learning in the process of creating an optimal Q-table. By using these results, the hyper-parameter values were fixed, learning rate to 0.3, discount factor to 0.9 and the decay rate to 0.9. And changed one of them by 0.01 from 0 to 1. Then, we evaluated the Q-table to determine success and failure in solving Sokoban using these values. As a result, hyper-parameter values that can provide the best solution was derived. When the value of the decay rate was around 0.2, the learning success rate was the largest, and when decay rate was 0.96, the learning result was close to the optimal solution for Sokoban.

참고자료

· 없음