분산 메시징 시스템에서 Topic과 Partition 관리를 통한 메시지 전송 최적화 (Optimizing Message Transfers in Distributed Messaging Systems through Topic and Partition Management)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 49권 / 1호 / 79 ~ 87페이지
· 저자명 : 남범준, 권영우

초록

스트림 데이터의 처리 기술이 중요시되면서 대용량, 대규모의 데이터를 빠르고 손실 없이 전송하기 위해Apache Kafka, RabbitMQ 그리고 ActiveMQ 등 많은 메시징 시스템이 사용되고 있다. Apache Kafka는 대표적인분산 메시징 시스템이며, 실시간으로 생성되는 데이터를 빠르게 전달하는데, 장점이 있는 시스템이다. Apache Kafka의 구성요소 중 Topic은 Broker의 하위에 구성되며 Partition 개수가 다른 여러 개의 Topic으로 구성될 수있다. Topic을 구성하는 Partition의 개수가 증가하게 되면 높은 처리 속도를 보여주지만 무분별하게 Partition의개수를 증가시킴에 따른 문제점도 발생한다. 본 논문에서는 Topic을 구성할 때, 사용자의 목표 처리량에 맞는Partition 개수로 Topic을 구성해야 하는 이유와 목표 처리량에 맞는 Partition 개수를 제안할 수 있는 실험에 대해소개하고 Partition 개수를 최소한으로 사용하면서 목표 처리량에 맞는 Partition 개수를 제안하는 방법을 소개한다.

영어초록

As stream data processing technology becomes more important, messaging systems such as Apache Kafka, RabbitMQ, and ActiveMQ are being used to transfer large amounts of data fast and without loss. Apache Kafka is a representative distributed messaging system, which can deliver data generated in real time. In Apache Kafka, a broker is composed of multiple topics with different numbers of partitions. As the number of partitions increases, its processing speed also increases, but problems with CPU and memory usages also occur.
In this article, we show why the number of partitions should be configured to reduce resource usages without impact on target performance. Based on our extensive experimental results, we propose a mechanism that can change the number of partitions according to the amount of transferred message under different execution environments.

참고자료

· 없음