고성능컴퓨팅 환경을 고려한 빅데이터플랫폼 운영관리시스템 개발 (Development of Big Data Platform Operation and Management System Considering HPC Environments)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 47권 / 3호 / 240 ~ 246페이지
· 저자명 : 곽재혁, 최지은, 변은규, 김상완

초록

전통적인 계산과학 분야와 빅데이터 분야의 소프트웨어 기술은 다른 형태로 발전되어 왔으나빅데이터 기술의 성장과 최근의 인공지능 기술의 발전은 두가지 분야의 경계를 허물어트리고 고성능 컴퓨팅 환경을 일반화시키고 있다. 그러나 두가지 분야의 소프트웨어 스택은 독립적으로 구축되고 발전되어 왔기에 고성능 컴퓨팅 환경에서 이를 통합하여 투명하게 운영하거나 관리하는 것은 쉬운 일은 아니다. 본논문에서는 이를 극복하기 위해서 고성능 컴퓨팅 환경을 고려한 빅데이터 플랫폼 운영 관리 시스템을 개발하였다. 본 시스템은 오픈소스 기반의 Hadoop 플랫폼 운영관리시스템인 Ambari를 확장하여 구현하였으며 Lustre에 대한 설치 관리 및 Hadoop on Lustre 실행 환경 구성 기능, 모니터링 요소의 동적인 확장이 가능한 YARN 작업 모니터링 기능, 고성능컴퓨팅 자원 모니터링을 위한 웹기반 인터페이스를 제공한다.

영어초록

Software technologies in traditional computational science and big data fields have evolved into different forms, but the growth of big data technology and recent advances in artificial intelligence technology have broken down boundaries between the two fields and have lead to generalized, high-performance computing environments. However, as these two areas of software stack were built and developed independently, it is not easy to integrate and operate them seamlessly in high-performance computing environment. In this paper, we developed a big data platform operation and management system considering high-performance computing environment. The system is an extension of Ambari, an open-source Hadoop platform operations management system that also provides installation management for Lustre, configuration of the Hadoop-on-Lustre execution environment, YARN job monitoring with user-defined and dynamic monitoring metrics as well as a web-based interface for high-performance computing resource monitoring.

참고자료

· 없음