심층 Q신경망을 이용한 포트폴리오 성능평가 (Performance Evaluation of Portfolio using a Deep Q-Networks)

서지정보

· 발행기관 : 차세대컨버전스정보서비스학회
· 수록지 정보 : 차세대컨버전스정보서비스기술논문지 / 10권 / 4호 / 459 ~ 470페이지
· 저자명 : 이우식

초록

2016년 구글의 알파고가 이세돌과의 바둑대전에서 우승한 이후 금융권에서는 인공지능과 투자자문 전문가의 합성어인 로보어드바이저에 관심이 높아지고 있다. 디지털 자산관리에 대한 중요성이 커지면서 로보어드바이저 산업의 장기적 성장성은 매우 높을 것으로 예상된다. 하지만 로보어드바이저를 이용한 디지털 자산관리가 아직 충분히 검증된 상태가 아니고, 인공신경망을 포함한 강화학습과 금융이 연계된 연구들은 많이 이뤄지지 않고 있는 상태이다. 본 연구에서는 확률적 경사 하강법 알고리즘에 따른 심층 Q신경망 모형기반의 포트폴리오 성능을 비교 분석한다. 분석 결과, 심층 Q-신경망을 이용한 포트폴리오의 샤프지수가 동일비중 포트폴리오보다 낮은 수치를 기록했다. 이는 리플레이 메모리에 저장되는 대부분의 트랜지션에 유익한 보상 지표가 없으며 심층 Q신경망의 수렴 및 훈련에 불충분한 정보가 제공되는 것으로 사료된다. 둘째, 일반적으로 성능이 뛰어나다고 알려진 Adam과 다르게 본 연구에서는 RMSprop의 높은 학습 효과를 확인할 수 있다.

영어초록

After Google's AlphaGo beats Go master Lee Se-dol in 2016, the financial industry has been increasingly interested in Robo-Advisor. As the importance of digital asset management grows, the long-term growth potential of the Robo-advisor industry is expected to be very high. However, digital asset management using Robo-advisors has not yet been sufficiently verified, and many studies related to reinforcement learning including artificial neural networks and finance have not been conducted. This study compares some stochastic gradient descent algorithms of deep Q-network(DQN) to maximize the long-term financial portfolio performance. As a result, the Sharpe ratio of the portfolio using the DQN was lower than that of the equally weighted portfolio. It is considered that most of the transitions stored in the replay memory have no informational reward indicator, and provide insufficient value to the convergence and training of the DQN. Secondly, unlike Adam, which is generally known for its excellent performance, the performance of the DQN with RMSprop outperformed.

참고자료

· 없음