이기종 클러스터 기반 HPC 시뮬레이션 실행을 위한 웹 플랫폼 구축 및 테스트 (Development and Testing of a Web Platform for Heterogeneous Cluster-Based HPC Simulation)

서지정보

· 발행기관 : 한국인터넷정보학회
· 수록지 정보 : 인터넷정보학회논문지 / 26권 / 2호 / 11 ~ 21페이지
· 저자명 : 권예진, 박용범, 이정철

초록

본 논문에서는 HPC 기반 이기종 클러스터 환경에서 고성능 컴퓨팅 시뮬레이션을 실행하기 위한 웹 플랫폼의 설계, 개발 및 실행 테스트를 진행하였다. 또한 다양한 계산과학공학 분야의 시뮬레이션 실행을 위해 필요한 애플리케이션 요구사항, 라이브러리 및 실행 프로세스를 수용하기 위한 독립적인 개발 환경을 위해 컨테이너 기반 시뮬레이션 실행 환경을 구축하였다. 본 연구에서 제안하는 플랫폼은 Slurm과 Kubernetes 클러스터 프레임워크를 통합하여 효율적인 자원 관리, 동적 스케줄링 및 작업 분배를 가능하게 하였다. 추가적으로 사용자 친화적인 웹 인터페이스를 통해 시뮬레이션 관리를 용이하게 지원한다.
플랫폼을 활용한 Slurm과 Kubernetes 클러스터 간의 성능 비교 실험에서는 다양한 시뮬레이션 애플리케이션에 대한 실행 시간 및 자원 활용에 관한 주요 분석 결과를 제공한다. 결과적으로 Slurm은 대규모 데이터와 고성능 자원이 필요한 애플리케이션에서 우수한 성능을 보였으며, Kubernetes는 소규모 및 동적 작업에 더 적합한 적응성을 제공함을 확인하였다. 본 연구는 이기종 클러스터 기반 HPC 시뮬레이션을 위한 실행 환경 최적화 알고리즘과 자원 할당 전략 분석의 기초를 제공하며 향후 연구로는 상호 연결된 시뮬레이션 워크플로우 설계를 개선하고, 이기종 클러스터를 위한 고급 스케줄링 기법을 연구하는 데 초점을 맞출 예정이다.

영어초록

This paper, we design, develop, and test a web platform for executing high-performance computing (HPC) simulations in heterogeneous cluster environments. We builds a container-based simulation execution environment that accommodates the application requirements, libraries, and execution processes necessary for simulations in various computational science and engineering fields. Additionally, we proposed platform leverages containerization to ensure the independence of simulation applications, facilitating smooth execution, data preprocessing, and visualization. The platform that we proposed integrates Slurm and Kubernetes cluster frameworks to enable efficient resource management, dynamic scheduling, and task distribution, while offering easy simulation management through a user-friendly web interface.
We performance comparison experiments between Slurm and Kubernetes clusters, using the EDISON platform. Accordingly, we provide key analysis results on execution time and resource utilization for various simulation applications. As a result, we analysis that Slurm demonstrated superior performance for applications requiring large-scale data and high-performance resources, while Kubernetes proved to be more adaptable for small-scale and dynamic workloads. Our purpose of the first step of this study, lays the groundwork for analyzing execution environment optimization algorithms and resource allocation strategies for heterogeneous cluster-based HPC simulations. As future research we will focus on improving the design of interconnected simulation workflows and exploring advanced scheduling techniques for heterogeneous clusters.

참고자료

· 없음