블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 (Real time Storage Manager to store very large data using block transaction)

서지정보

· 발행기관 : 한국공간정보시스템학회
· 수록지 정보 : 한국공간정보시스템학회 논문지 / 10권 / 2호 / 1 ~ 12페이지
· 저자명 : 백성하, 김경배, 배해영, 정원일, 오영환, 이동욱, 어상훈

초록

초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은
대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안
정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다.
기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반
DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향
상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러
나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다.
본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기
위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은
개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수
있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은
데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기
위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본
제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저
장비용을 감소시킬 수 있다.

영어초록

Automatic semiconductor manufacture system generating transacti on from 50,000 to 500,000 per a second needs storag e management system processing very large data at once. A lot of storage managemen t systems are researched for st oring very large data.Existing storage management syste m is typical DBMS on a disk. I t is difficult that the DBMS on a disk processes the 500,000 number of insert transacti on per a second. So, the DBMS on main memory appeared to use memory. But it is difficult that very large data stores into the DBMS on a memory becaus e of limited amount of memory. In this paper we propose storage management syste m using insert transaction of a block unit that can process insert transaction over 50,000 and store data on low storage cost. A transaction of a block unit can decrease cost for a log and ind e x p e r e a c h t u p l e a s transforming a transaction of a t uple unit to a block unit. Bes ides, the proposed s ystem come cost to decompres al block of data because the informati on of each field be loss. To solve the problems, the proposed s ystem generates the index of each compressed block to prevent reducing speed for sear ching. The proposed system can s tore very large data generated in semiconductor sys tem and reduce storage cost.

참고자료

· 없음