맵리듀스기반 스트림 데이터 처리를 위한 스트림 할당 및 분할 기법 (MapReduce-based Stream Assigning and Splitting Technique for Stream Data Processing)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 19권 / 8호 / 439 ~ 443페이지
· 저자명 : 박수현, 류우석, 홍봉희, 권준호

초록

최근 센서 기기 사용의 증가로 인해 센서로부터 발생하는 데이터량 역시 빠르게 증가하고 있다. 따라서 빅데이터 처리 플랫폼인 하둡을 활용하여 증가하고 있는 스트림 데이터를 처리하고자 한다. 그러나 하둡은 일괄 배치 처리 플랫폼으로 스트림 데이터에 대한 실시간 처리를 지원하지 않는다. 따라서 이 논문에서는 연속적으로 들어오는 스트림 데이터를 처리하기 위해 맵리듀스 온라인의 파이프라인 기법을 사용하고 스트림 입력을 받기 위해 맵리듀스를 확장하였다. 또한 스트림 데이터를 처리하면서 발생하는 부하 발생 문제를 해결하기 위해 여러 스트림 데이터를 어떻게 다수의 클러스터 노드에 할당하고 데이터를 분할할 것인지에 대하여 연구하였다.

영어초록

The increasing uses of sensors are increasing the amount of stream data. In this paper, we studied the techniques of distributed parallel processing of stream data using Hadoop. Hadoop is designed to be a batch processing system; it is not made for processing stream data. If original Hadoop is used for processing stream data, when it encountered multiple streams there will be load at a specific Hadoop Map Task. This is happening because the volume and incoming rates of stream data is vary. Therefore, we extend Hadoop's MapReduce and use MapReduce Online's pipeline for processing stream data and cope with load balancing.

참고자료

· 없음