DDQN을 활용한 강화학습 기반 타임슬롯 스케줄링 (Timeslot Scheduling with Reinforcement Learning Using a Double Deep Q-Network)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 47권 / 7호 / 944 ~ 952페이지
· 저자명 : 류지혜, 권주혁, 정진우

초록

트래픽 특성과 요구사항의 다양한 변화에 네트워크 자율적으로 유연하게 적응하고 대처하는 방안으로, 강화학습을 적용한 네트워크 스케줄러가 최근 주목받고 있다. 본 연구에서는 딥러닝을 적용한 강화학습 모델인 double deep q-network(DDQN)을 사용해 우선순위 기반의 타임슬롯 스케줄링을 구현한다. DDQN 에이전트의 행동에 대한 가치를 평가하기 위해 reward는 timeslot에서 전송된 패킷의 추정 delay와 deadline의 차이, 그리고 패킷의 우선순위에 기반해 지급하는 function으로 정의하였다. 시뮬레이션 결과, 학습된 스케줄러가 strict priority (SP) 혹은weighted round robin(WRR)과 같은 기존 알고리즘으로 스케줄링했을 때 우려되는 문제점을 극복한 것을 확인할수 있었다. 또한, 기존 스케줄러보다 높은 누적 보상의 합인 score를 기록하며, deadline 내에 더 많은 packet이 도착함을 확인하였다. 본 연구를 통해서 대규모 유선 네트워크에서 자율 네트워크 스케줄링 기능 실현의 가능성을타진하였다. 특히 제안하는 DDQN 기반 강화학습 에이전트를 사용하면 자율성과 성능을 모두 개선할 수 있을 것으로 기대한다.

영어초록

To adopt reinforcement learning in the network scheduling area is getting more attention than ever, because of its flexibility to adapt to the dynamic changes in network traffic specifications and their requirements. In this study, a timeslot scheduling algorithm based on priority is designed using Double deep q-network (DDQN), a reinforcement learning algorithm. To evaluate the behavior of the DDQN agent, a reward function is defined based on the difference between the estimated delay and the deadline of packets transmitted at timeslot; and on the priority of packets. The simulation showed that the designed scheduling algorithm performs better than the existing algorithms such as the strict priority (SP) or weighted round robin (WRR) scheduler, in the sense that more packets have arrived within the deadline. By using the proposed DDQN-based scheduler, it is expected that autonomous network scheduling can be realized in the upcoming network framework.

참고자료

· 없음