멀티코어 환경을 위한 강화학습 기반 캐시 파티셔닝 (A Reinforcement Learning-Based Cache Partitioning Scheme for Multi-Core Environments)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 48권 / 6호 / 618 ~ 628페이지
· 저자명 : 최동규, 김종석, 우홍욱, 서의성

초록

많은 상용 프로세서들은 LLC(last-level cache)를 모든 코어들이 공유하여 사용하기 때문에 LLC가 병목이 되어 전체 시스템 성능이 저하된다. 하드웨어 캐시 파티셔닝 기법을 적용하여 이런 문제를 해결할 수 있지만, 적절한 캐시 파티션을 결정하는 것은 지능적인 알고리즘을 필요로 한다. 강화학습을 사용한 캐시 파티셔닝은 애플리케이션의 수가 증가함에 따라 모델 복잡도가 폭발적으로 증가한다. 본 논문은 캐시 파티셔닝 문제의 강화학습 적용을 위해 모델 복잡도의 폭발적 증가를 억제하고 다중 애플리케이션에 대해 확장 가능한 강화학습 기반 캐시 파티셔닝을 제안한다. 먼저 적은 수의 애플리케이션에 대해 캐시 파티셔닝을 하는 강화학습 모델을 학습한다. 그 후 캐시 사용 특성 예측 지도학습 모델을 통해 얻은 정보로 애플리케이션들을 클러스터링하여 강화학습 모델을 확장 적용한다. 이를 통해 더 많은 애플리케이션에 대해서도 캐시 파티셔닝을 하여 최대 19.75%의 성능 향상을 얻을 수 있었다.

영어초록

Most processors currently in use provide the shared last-level cache (LLC). Therefore, when multiple applications compete intensely for the LLC, its hit ratio is adversely impacted by extremely frequent cache line replacement; this may result in a significant degradation of the overall performance. The hardware-based cache partitioning techniques can relieve this issue by isolating the cache space of a core from others. However, it is necessary to use an adaptive and intelligent cache partitioning algorithm to dynamically determine the optimal cache partition. Reinforcement learning is an appropriate approach for this kind of problems. However, its model complexity skyrockets as the number of the applications to partition increases. This paper proposes a reinforcement learning-based cache partitioning scheme that can support a large number of running applications. Firstly, we built a reinforcement learning model and made it learn to perform cache partitioning for a small number of applications. We then extended it by clustering applications with the information obtained via supervised learning models for cache-use characteristic predictions, which enabled cache partitioning for more applications and resulted in performance gains of up to 19.75%.

참고자료

· 없음