가상 클러스터 환경에서 하둡 맵리듀스의 성능 향상을 위한 부하분산 기법 (Load Balancing for Improving Hadoop MapReduce Performance in Virtual Cluster)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 19권 / 12호 / 713 ~ 717페이지
· 저자명 : 정대영, 남윤성, 이권용, 박성용

초록

고성능 컴퓨팅 등의 다양한 분야에서 널리 이용되던 클러스터 컴퓨팅이 최근 클라우드 서비스의 등장으로 클라우드 상에서 가상 클러스터로 구성되고 있다. 대용량 데이터 처리의 대표적 분산처리 플랫폼인 하둡 클러스터의 구성도 클라우드 상으로 이동하는 추세이며 가상 맵리듀스 클러스터의 성능 향상을 위한 연구가 활발히 이루어지고 있다. 맵리듀스는 분산 처리되는 모든 태스크가 종료되어야 최종 결과를 도출할 수 있는 특성을 갖고 있으므로, 태스크들의 완료 시간이 불균등하면 전체 맵리듀스의 성능이 하락한다는 단점이 있다. 하둡 맵리듀스에서는 추론적 실행 기법을 사용하여 이 문제를 해결하고자 하였지만 가상 클러스터에서는 클라우드 자원 낭비와 같은 문제를 발생시킨다. 본 논문은 Xen 기반의 클라우드 상에서 구성된 가상 맵리듀스 클러스터에서 추론적 실행에 의해 발생하는 문제를 해결하는 부하분산 기법을 제안한다. 제안하는 부하분산 기법은 Xen 크레딧 스케줄러와 리눅스 스케줄러를 태스크 수행시간에 따라 동적으로 조절하여 태스크의 수행시간 불균등을 해소한다. 실험을 통해 태스크들의 수행시간이 기존의 하둡 맵리듀스에 비해 균등하게 이루어지고 낙오자 태스크의 발생을 방지하여 성능이 향상됨을 볼 수 있었다.

영어초록

Recently, as cloud computing service has been more popular, the clusters, widely used for high performance computing, are gradually configured as virtual clusters on the cloud environments. Hadoop MapReduce cluster, which is one of the representative distributed processing platforms, is also moved into the cloud, so that a lot of researches have been conducted to improve the performance of virtual MapReduce cluster. Since the MapReduce cannot complete a job until all the tasks are finished, unbalanced completion times of tasks result in performance degradation of the MapReduce. Even Hadoop MapReduce uses a speculative execution to solve this problem, it makes other problems including waste of cloud resources in the virtual cluster environments. In this paper, we propose a new load-balancing method to solve the problems occurred by the speculative execution of virtual MapReduce cluster running on the Xen-based clouds. The proposed method dynamically adjusts Xen credit scheduler and Linux scheduler based on the completion times of tasks, and thereby reduces the amount of unbalanced completion times of tasks. We evaluated the proposed method with the original Hadoop MapReduce, and concludes that our load balancing method improves the MapReduce performance by balancing the completion time of tasks and preventing the occurrence of straggler tasks.

참고자료

· 없음