분산 인메모리 환경에서 실시간 처리를 위한 동적 스케쥴링 (Dynamic Scheduling for Supporting Real-time Processing in Distributed In-memory Environments)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 33권 / 1호 / 76 ~ 91페이지
· 저자명 : 복경수, 전현욱, 김민수, 최도진, 유재수

초록

실시간 스트림 데이터를 처리하는 분산 인메모리 시스템은 노드의 부하를 고려하지 않고 작업 분배하기 때문에 특정 노드에 작업이 집중되어 작업의 지연이 발생한다. 본 논문에서는 스톰에서 실시간 처리를 지원하기 위해 노드 부하를 분산시켜 작업 지연을 방지하는 동적 스케줄링 기법을 제안한다. 이를 위해 메모리, CPU, 네트워크 비용에 따라 노드의 부하를 판별하고 부하 노드에서 재분배 대상이 되는 작업을 선택한다. 실시간처리 작업의 지연 및 손실을 방지하기 위해 작업의 처리 비용과 데드라인을 고려하여 작업을 수행할 노드를 결정한다. 제안하는 기법의 우수성을 입증하기 위해 기존 기법과 성능 평가를 수행한다.

영어초록

Since the distributed in-memory system that processes real-time stream data distribute jobs without considering loads on nodes, jobs are delayed because the jobs are concentrated on one node. In this paper, we propose a dynamic scheduling scheme that prevents work delay by distributing node loads for real-time data processing in storm. The proposed scheme identifies the load of a node according to its status information such as memory, CPU, and network, and selects jobs to be redistributed from the node. We determine the job processing nodes through considering their deadlines and processing costs to prevent the delay and loss of real-time processing. To demonstrate the superiority of the proposed scheme, we compare it with the existing scheme through various performance evaluations.

참고자료

· 없음