강화 학습을 통한 저비용 및 고가용성 네트워크 설계 (Designing Low-Cost and High-Availability Networks with Reinforcement Learning)

서지정보

· 발행기관 : 한국지식정보기술학회
· 수록지 정보 : 한국지식정보기술학회 논문지 / 17권 / 3호 / 491 ~ 501페이지
· 저자명 : 조충희

초록

오늘날의 통신 재난은 의료와 긴급 구호, 공공 안전, 금융, 상거래 측면에서 사회 혼란과 경제적 손실 등을 발생시키는 국가적 재난으로 여겨진다. 이러한 통신 재난은 네트워크 가용성을 고려한 설계로 예방할 수 있다. 그러나, 통신사들은 충분한 네트워크의 가용성 제공보다는 구축에 들어가는 비용을 절약하는 데 초점을 두어 네트워크를 구축한다. 만약 트래픽을 장애로부터 보호하기 위해 새로운 보호 경로를 구축하지 않고 타 통신사의 망을 활용한다면, 망 구축비용을 최소화할 수 있다. 대부분의 통신사들은 각각 통신망을 구축하였지만 서로 망을 공유하지 않는다. 따라서, 통신사 간의 망 공유는 네트워크 가용성 향상과 건설비용 절약을 이끌어낼 수 있다. 이 연구는 전반적인 네트워크 가용성을 증진시킴과 동시에 네트워크의 연결에 따르는 비용을 최소화하는 방법을 소개한다. 우리는 통신사 간의 연결될 수 있는 최적의 선 집합을 찾는 최적화 문제를 정의한다. 또한, 심층 강화 학습 알고리즘을 통해 최종적으로 목표 가용성을 충족시키는 네트워크 간의 연결될 선을 선택한다. 이 알고리즘은 목표 가용성을 만족할 때까지 케이블을 선택하는 에피소드를 반복하며 최적의 케이블 선을 선택하는 방법을 학습한다. 그리고 마지막으로 우리는 그 결과를 일반적인 탐욕(Greedy) 알고리즘과 비교하여 실제 설계 비용이 얼마나 감소하였는지 평가한다.

영어초록

Telecommunication disasters have been regarded as national disasters that cause social chaos and economic losses in various fields such as medical care, emergency relief, public safety, finance, and commerce. Such disasters can be prevented by considering network availability during network design. However, telecommunication companies build networks with more focus on reducing construction costs than providing sufficient network availability. Network construction costs can be minimized if the network of other telecommunication companies are utilized without requiring the construction of 쟮ew protection paths to avoid traffic failure. Although most telecommunication companies have built their communication networks in geographically similar locations, they do not share networks despite the fact that shared networks could lead to improved network availability and reduced construction costs. Therefore, in this study, its introduced a method to minimize the network construction costs while improving the overall network availability. We defined an optimization problem to determine the optimal set of cable lines that can interconnect the networks and used a deep reinforcement learning algorithm to select the cable lines. The deep reinforcement learning algorithm learns to select the optimal cable line by repeating episodes of cable selection until target availability is satisfied. The result was compared with that of a general greedy algorithm to evaluate the reduction in construction costs.

참고자료

· 없음