시계열 예측을 위한 스타일 기반 트랜스포머 (Style-Based Transformer for Time Series Forecasting)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 10권 / 12호 / 579 ~ 586페이지
· 저자명 : 김동건, 김광수

초록

시계열 예측은 과거 시점의 정보를 토대로 미래 시점의 정보를 예측하는 것을 말한다. 향후 시점의 정보를 정확하게 예측하는 것은 다양한분야 전략 수립, 정책 결정 등을 위해 활용되기 때문에 매우 중요하다. 최근에는 트랜스포머 모델이 시계열 예측 모델로서 주로 연구되고 있다.
그러나 기존의 트랜스포머의 모델은 예측 순차를 출력할 때 출력 결과를 다시 입력하는 자가회귀 구조로 되어 있다는 한계점이 있다. 이 한계점은멀리 떨어진 시점을 예측할 때 정확도가 떨어진다는 문제점을 초래한다. 본 논문에서는 이러한 문제점을 개선하고 더 정확한 시계열 예측을 위해스타일 변환 기법에 착안한 순차 디코딩 모델을 제안한다. 제안하는 모델은 트랜스포머-인코더에서 과거 정보의 특성을 추출하고, 이를 스타일-기반디코더에 반영하여 예측 시계열을 생성하는 구조로 되어 있다. 이 구조는 자가회귀 방식의 기존의 트랜스포머의 디코더 구조와 다르게, 예측 순차를한꺼번에 출력하기 때문에 더 먼 시점의 정보를 좀 더 정확히 예측할 수 있다는 장점이 있다. 서로 다른 데이터 특성을 가지는 다양한 시계열데이터셋으로 예측 실험을 진행한 결과, 본 논문에서 제시한 모델이 기존의 다른 시계열 예측 모델보다 예측 정확도가 우수하다는 것을 보인다.

영어초록

Time series forecasting refers to predicting future time information based on past time information. Accurately predicting futureinformation is crucial because it is used for establishing strategies or making policy decisions in various fields. Recently, a transformermodel has been mainly studied for a time series prediction model. However, the existing transformer model has a limitation in that ithas an auto-regressive structure in which the output result is input again when the prediction sequence is output. This limitation causesa problem in that accuracy is lowered when predicting a distant time point. This paper proposes a sequential decoding model focusingon the style transformation technique to handle these problems and make more precise time series forecasting. The proposed modelhas a structure in which the contents of past data are extracted from the transformer-encoder and reflected in the style-based decoderto generate the predictive sequence. Unlike the decoder structure of the conventional auto-regressive transformer, this structure has theadvantage of being able to more accurately predict information from a distant view because the prediction sequence is output all atonce. As a result of conducting a prediction experiment with various time series datasets with different data characteristics, it was shownthat the model presented in this paper has better prediction accuracy than other existing time series prediction models.

참고자료

· 없음