메모리 기반 키-값 저장소에서의 데이터 압축 저장과 병렬 스냅샷 생성 기법 (Data Compression Storage and Parallel Snapshot Generation Technique in In-memory Key-Value Stores)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 35권 / 2호 / 33 ~ 53페이지
· 저자명 : 성한승, 박상현

초록

실시간 데이터 처리와 저장이 요구되는 환경에서 메모리 기반 키-값 저장소인 Redis가 널리 사용되고 있다. 그러나 디스크보다 제한된 저장 용량을 가진 메모리가 주 저장 장치로 사용되기 때문에, 저장 가능한 데이터의 양이 다소 제한적이다. 또한, 시스템 장애가 발생할 경우 DRAM의 휘발성으로 인해 저장된 모든 데이터가 유실되는 문제가 있다. 이를 방지하기 위한 영속성 방법을 제공하지만, 영속성을 위한 작업으로 인해 데이터 처리 성능이 저하되고 메모리 사용량이 급증하는 문제가 있다. 본 논문에서는 LZF 알고리즘을 통해 데이터를 압축 저장하여 메모리의 용량 제한을 극복하는 데이터 압축 저장 기법과 스냅샷을 생성 시 발생하는 로깅 부하를 완화하기 위해 데이터 병렬성을 활용하는 병렬 스냅샷 생성 기법을 제안한다. 본 논문에서 제안하는 방법을 적용한 Redis는 기존 Redis보다 적은 메모리 사용량을 보였으며, 스냅샷 생성 및 데이터 복구에 소요되는 시간이 크게 단축되었음을 확인하였다.

영어초록

Redis, a memory-based key-value store, is widely used in environments where real-time data processing and storage is required. However, because a memory with a limited storage capacity compared to disk is used as the primary storage device, the amount of data that can be stored is rather limited. In addition, in the event of system failure, there is a problem that all stored data are lost due to the volatility of the DRAM.
Although it provides a persistence method to prevent this, there is a problem that data processing performance is degraded and memory usage is rapidly increased due to work for durability. In this paper, we propose a data compression storage technique to overcome the capacity limitation of memory by compressing and storing data through LZF algorithm and a parallel snapshot creation method that utilizes parallelism to alleviate the logging overhead that occurs when creating a snapshot. Redis using the proposed methods showed less memory usage than the existing Redis, and identified that the time required for snapshot creation and data recovery is also significantly reduced.

참고자료

· 없음