네트워크 최대 단대단 지연 시간의 최소화를 위한 강화학습 기반 스케줄러 (Network Scheduler Based on Reinforcement Learning for Minimizing the Maximum End-to-End Latency)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 47권 / 9호 / 1330 ~ 1340페이지
· 저자명 : 권주혁, 류지혜, 정진우

초록

본 논문에서는 네트워크 최대 단대단 지연 시간의 최소화를 위한 강화학습 기반 스케줄러를 single agent 환경과 multi agent 환경에서 구현하였다. 강화학습 모델은 double deep Q-network(DDQN)와 prioritized experience replay(PER)를 사용하였다. Multi agent 환경에서는 agent가 정확한 단대단 지연 시간을 알 수 없기에 추정 지연시간을 사용해 상태(state)와 보상(reward)을 구했다. 강화학습 기반 스케줄러의 성능을 확인하기 위해 4가지의 네트워크 토폴러지들을 구현하여 강화학습 기반 스케줄러와 FIFO, round robin(RR), 간단한 heuristic algorithm(HA) 들을 비교하였다. 시뮬레이션 결과 강화학습 기반 스케줄러는 고정적인 패킷 생성 시나리오의 토폴로지들에서 모두 최대 단대단 지연 시간의 최소화를 달성하였고 FIFO, RR은 모두 달성하지 못했으며 HA는 하나의 토폴로지에서 달성하지 못했다. 무작위로 플로우가 생성되는 시나리오에서 강화학습 기반 스케줄러는 FIFO, RR보다 좋은 성능을 보였으나 토폴로지에 따라 HA와 비교하여 같거나 떨어지는 성능을 보였다.

영어초록

In this paper, a reinforcement learning(RL)-based scheduler to minimize the maximum network end-to-end latency is implemented in a single agent environment and a multi-agent environment. The RL model used the double deep Q-network (DDQN) with the prioritized experience replay (PER). Since the agents are unable to identify end-to-end latencies in the multi-agent environment, the state and reward were obtained using the estimated end-to-end latencies. Four network topologies were implemented and simulated to compare the reinforcement learning-based scheduler, FIFO, round robin (RR), and a simple heuristic algorithm (HA). As a result of simulation in fixed packet generation scenarios, the RL-based scheduler achieved the minimization of maximum end-to-end latency in all the topologies. The FIFO and RR schedulers could not minimize the maximum end-to-end latency in any of the topology, and the HA could not minimize the maximum end-to-end latency in a single topology. In scenarios with random flows generation, the RL-based scheduler performed better than the FIFO and RR, but performed the same as or worse than the HA, depending on the topology.

참고자료

· 없음