시계열 예측을 위한 3D 컨볼루션 트랜스포머 (3D Convolutional Transformer for Time-Series Forecasting)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 18권 / 6호 / 71 ~ 80페이지
· 저자명 : 이상원, 최원익

초록

다양한 분야에서 시계열 데이터의 중요성이 증가하면서 미래의 시계열 데이터를 정확하게 예측하는 것이 중요한 문제로 대두되고 있다. 시계열 데이터 예측 분야에서는 오랫동안 LSTM 기반 모델을 사용했지만, 최근에는 트랜스포머 모델이 주목받기 시작했다. 하지만 트랜스포머 모델 구조는 시계열의 순차적인 특성을 보존하는 능력이 약하다는 한계를 가진다. 본 논문에서는 이것을 해결하기 위해 3D 컨볼루션 네트워크와 Transformer를 결합한 구조의 3DCformer를 제안한다. 3DCformer의 인코더는 dilated 컨볼루션을 사용하여 입력 데이터의 순차적인 특성을 강화한 뒤 2D 입력 데이터를 3D로 확장한다. 그 후 3D 컨볼루션 네트워크를 통해 확장된 특성에서 표현을 추출한다. 3DCformer의 디코더는 인코더에서 추출한 짧은 기간과 긴 기간의 시계열 데이터의 표현을 효율적으로 결합 및 학습하는 구조로 설계한다. 광범위한 실험을 통해 3DCformer가 기존 State-Of-The-Art 모델에 비해 16.18% 낮은 MAE와 24.53% 낮은 MSE를 달성함을 보인다.

영어초록

As the importance of time-series data increases in many industrial fields, the problem of time-series forecasting is becoming crucial. For time-series forecasting, Transformer-based models have recently received much attention in place of traditional LSTM-based models. However, Transformer-based models have a limitation in their weak ability to preserve sequential features of time-series. To address this problem, we propose a novel Transformer-based forecasting model, called 3DCformer, which combines a 3D convolution network and Transformer. The 3DCformer encoder uses dilated convolution to capture sequential features from time-series and then expands 2D time-series to 3D. The 3D convolution network then extracts representations from the extended 3D data. The 3DCformer decoder is designed to efficiently combines and learns representations of both short-term and long-term features extracted from the encoder. Through extensive experiments, we show that our proposed 3DCformer achieves 16.18% lower MAE and 24.53% lower MSE compared to the existing State-Of-The-Art models.

참고자료

· 없음