데이터 집약 과학 워크플로우 응용의 특성을 고려한 데이터 배치 기법 (A Data Placement Scheme for the Characteristics of Data Intensive Scientific Workflow Applications)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : KNOM Review / 21권 / 2호 / 46 ~ 52페이지
· 저자명 : 안주림, 김윤희

초록

라우드 컴퓨팅 환경을 활용한 데이터 집약적인 과학 워크플로우 응용 실험의 경우 클라우드의 여러 데이터 센터에 대량의 데이터가 분산될 수 있고, 생성되는 중간 데이터는 서로 다른 데이터 센터 간의 접근을 통해 전송될 수 있다. 또한 응용의 실행이 진행될 때, 생성된 중간 데이터를 이용하며 진행되므로 데이터의 위치에 따라 실행 결과가 달라진다. 그러나 기존의 데이터 배치 기법은 과학 응용의 특성을 고려하지 않는다.
본 논문에서는 데이터 집약적 단계를 정의하여 그 구간에서의 런타임 데이터 배치를 제안한다. 제안하는 데이터 배치 기법을 통해 본 연구에서 정의한 데이터 집약적 단계에서의 횟수를 고려한 시나리오를 분석하여 결과를 도출한다. 또한 런타임 데이터 배치 횟수와 런타임 데이터 배치 시 오버헤드를 분석하여 성능을 비교했다.

영어초록

For data-intensive scientific workflow application experiments that leverage the cloud computing environment, large amounts of data can be distributed across multiple data centers in the cloud. The generated intermediate data can also be transmitted through access between different data centers. When the application is executed, the execution result is changed according to the location of the data since the intermediate data generated is used. However, existing data placement strategies do not consider the characteristics of scientific applications.
In this paper, we define a data-intensive tasks and propose runtime data placement in that interval. Through the proposed data placement scheme, we analyze the scenarios considering the number of times in the data intensive tasks defined in this study and derive the results. In addition, performance was compared by analyzing runtime data placement times and runtime data placement overhead.

참고자료

· 없음