하둡 시스템의 네트워크 자원 사용량 감소를 위한 스트리밍 압축 기법 (Streaming Compression Scheme for Reducing Network Resource Usage in Hadoop System)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 45권 / 6호 / 516 ~ 521페이지
· 저자명 : 노승준, 엄영익

초록

최근, 하둡 시스템의 사용 빈도가 높아지면서 처리해야 하는 데이터의 양이 증가함에 따라 하둡 클러스터의 규모 또한 커지고 있다. 하둡 클러스터의 노드를 구성하는 프로세서, 메모리, 스토리지 등의 자원은 다른 노드들로부터 독립된 자원이며, 이는 하나의 노드에서 데이터 처리량이 많아져 노드 내부의 자원에 대한 사용량이 증가하여도 다른 노드의 데이터 처리 성능에 영향을 주지 않음을 의미한다. 하지만, 하둡 클러스터의 노드들을 연결하는 네트워크는 모든 노드가 사용하는 공유 자원이며, 이로 인해, 일부 노드의 네트워크 사용량이 증가하면 다른 노드가 사용할 수 있는 네트워크 자원이 줄어 하둡 시스템의 전체 성능을 감소시킬 가능성이 있음을 의미한다. 본 논문에서는 하둡 시스템에서 쓰기 요청으로 발생되는 네트워크 사용량을 줄이기 위한 스트리밍 압축 기법을 제안하고 성능과 오버헤드를 측정한다. 실험 결과, 스트리밍 압축 기법을 사용함에 따라 네트워크 트래픽이 최대 56% 줄어드는 것을 확인하였다.

영어초록

Recently, the Hadoop system has become one of the most popular large-scale distributed systems used in enterprises, and the amount of data on the system has been increasing continually.
As the amount of data in the Hadoop system is increased, the scale of Hadoop clusters is also growing.
Resources in a node, such as processor, memory, and storage, are isolated from other nodes, and hence, even though resource usage is increased by data processing requests from clients, it doesn’t affect the performance of other nodes. However, all the nodes in a Hadoop cluster are connected to the network resource, a shared resource in the Hadoop cluster, and so, if some nodes dominate the network resource, other nodes would experience less network resources, which could cause overall performance degradation in the Hadoop system. In this paper, we propose a streaming compression scheme that can decrease the network traffic generated by write operations in the system. We also evaluate the performance of our streaming compression scheme and analyze the overhead of the proposed scheme.
Our experimental results with a real-world workload show that our proposed scheme decreases the network traffic in a Hadoop cluster by 56% over the existing HDFS systems.

참고자료

· 없음