주기적 Q-table 업데이트를 활용한 무선 라우팅 프로토콜 (Wireless Routing Protocol with Periodic Q-Table Update)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 45권 / 12호 / 2099 ~ 2105페이지
· 저자명 : 김태정, 정진우

초록

무선 라우팅 분야에 강화학습을 적용하여 네트워크의 안정성을 높이고 지연시간을 줄이려는 연구가 진행되고있다. 기존 무선 라우팅 알고리즘들은 노드가 부모 노드를 선택할 때 부모 노드까지의 거리나 부모 노드까지 패킷전달에 걸리는 평균 시간 등 주변 정보에 의존한다. 본 논문에서는 네트워크 전체 상황 정보를 주기적으로 갱신하고 이를 반영하여 강화학습의 일종인 Q-learning을 적용하는 방안을 제시하고, 이를 저전력 저손실 네트워크를 위한 표준 라우팅 프로토콜 RPL(Routing Protocol for Low power and Lossy network)에 적용한 라우팅 알고리즘을제안한다. 제안하는 알고리즘은 네트워크의 트래픽 양이 많은 상황에서 기존 라우팅 알고리즘과 비교하여 네트워크의 부하가 집중되는 것을 막을 수 있다. 시뮬레이션을 통해 기존 Full echo Q-routing과 성능 비교를 진행하였고제안하는 알고리즘이 PDR(Packet delivery rate)과 지연시간 측면에서 더 좋은 성능을 보이는 것을 검증하였다.

영어초록

Researches to enhance network stability and reduce latency by applying reinforcement learning in the wireless routing are being carried on. Existing wireless routing algorithms rely on neighbor information, such as the distance to the parent node or the average time taken to deliver the packet to the parent node when the node selects the parent node. In this paper, we propose to utilize the Q-learning, a kind of reinforcement learning, with periodically updating the whole network information and suggest to apply to RPL(Routing protocol for low power and lossy network), the standard routing protocol for low-power low-loss networks.
The proposed algorithm can achieve the network load balancing, compared to the existing routing algorithm where the traffic load is high. Through simulation, we compared the performance with the existing Full echo Q-routing and verified that the proposed algorithm shows better performance in terms of PDR (Packet delivery rate) and latency.

참고자료

· 없음