실시간 분석을 위한 도커 컨테이너 기반의 딥러닝 모델 관리 시스템 설계 및 성능 비교 (Design and Performance Comparison of Docker Container Based Deep Learning Model Management System for Real-Time Analysis)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 46권 / 2호 / 390 ~ 400페이지
· 저자명 : 이모세, 강민수, 김인호, 김재헌

초록

딥러닝 기술은 고차원의 데이터에 대한 결과를 추론하는데 매우 효과적이어서 다양한 비즈니스 영역에 적용할수 있는 것으로 알려져 있다. 딥러닝 프레임워크의 발전으로 다양한 인공지능 서비스들이 등장하고 있다. 특히 최근 화두가 된 스마트시티는 도시에서 발생하는 다양한 데이터들을 기반으로 한 인공지능 서비스를 제공한다. 그러나 대부분의 인공지능 서비스들은 딥러닝 기술을 이용한 모델의 추론 정확도를 만족시킬 뿐 리소스를 효율적으로사용하는데 한계점이 있다. 실제 서비스 적용을 위해 웹 또는 플랫폼 아키텍처를 구성할 때에도 데이터 유입부터전처리, 모델 학습, 서빙에 대한 다양한 인프라 기술을 운영하기 위한 비용이 발생된다. 스마트시티 서비스의 경우방대한 데이터를 기반으로 운영되기 때문에 운영비용이 크게 발생할 것으로 보인다. 본 연구에서는 딥러닝 모델을적용하는 안정적인 웹서비스 개발과 배포 및 관리를 용이하게 하기 위해 다양한 아키텍처를 설계하고 아키텍처들간의 성능을 비교하고자 한다. 일반적인 함수를 실행하는 방법인 Embedded Function 아키텍처와 REST 방식인Flask API, Fast API, TFServing 아키텍처들 총 4가지에 대해 성능 비교를 진행하였다. 실험 결과 데이터 처리속도 면에서는 TFServing이 가장 뛰어난 성능을 보여주었지만 탑재 가능한 모델의 종류, 커스터마이징 면을 고려했을 때에는 충분한 속도를 보여주는 Fast API도 안정적인 아키텍처로 개발하기에 충분하다는 결과를 보여주었다.

영어초록

Deep learning technology is known to be very effective in inferring the results of high-dimensional data and can be applied to various business areas. With the development of the deep learning framework, various artificial intelligence services are emerging. In particular, Smart City, which has recently become a hot topic, provides artificial intelligence services based on various data from cities. However, most artificial intelligence services have limitations in efficiently using resources only to satisfy the inference accuracy of models using deep learning technology. Even when configuring a web or platform architecture for actual service application, costs for operating various infrastructure technologies from data inflow, pre-processing, model learning, and serving are incurred. In the case of smart city services, operating costs are expected to be large because they are operated based on vast amounts of data. In this study, various architectures are designed for the development, distribution, and management of stable web services equipped with deep learning models, and the performance of the architectures is compared. Performance comparisons were made for a total of four architectures: Embedded function architecture, which is a general function execution method, and Flask API, Fast API, and TFServing architectures, which are REST methods. As a result of the experiment, TFServing showed the best performance in terms of data processing speed, but when considering the types of models and customization that can be mounted, Fast API, which shows sufficient speed, was also shown to be sufficient to develop a stable architecture.

참고자료

· 없음