결측치를 포함한 데이터 셋에서의 장단기 메모리 알고리즘의 성능 평가 (Assessing the Performance of a Long Short-Term Memory Algorithm in the Dataset with Missing Values)

서지정보

· 발행기관 : 대한환경공학회
· 수록지 정보 : 대한환경공학회지 / 44권 / 12호 / 636 ~ 642페이지
· 저자명 : 박현건, 서상익, 조경철, 장진욱, 기서진

초록

본 연구는 결측치가 있는 다변수 데이터 셋에서 시계열 예측에 적합한 장단기 메모리 알고리즘의 성능을 평가하고자 수행되었다. 전체 데이터 셋은 인지도가 높은 유역 모델 HSPF를 남강 상류 유역을 대상으로 2016년부터 2018년까지 3년간 일 단위로 구동하여 준비되었다. 채택된 장단기 메모리 모델의 정확도는 다양한 보간 방법, 그리고 (종속 변수들의) 결측치 개수 및 (고정된 결측치 개수를 포함하는 단일 또는 다중) 독립 변수 개수의 변화에 따라 평가되었다. 주요 결과로서 다른 보간 방법은 장단기 메모리 모델의 성능에는 큰 변화를 야기하는 것으로 조사되었다. 다양한 보간 방법 중, StructTS and RPART 기법이 유량과 총인의 결측치를 복원하는 최적의 대체 방법으로 선정되었다. 장단기 메모리 모델의 예측 오차는 결측치의 개수가 300에서 700으로 증가할 때 점진적으로 증가하는 것으로 조사되었다. 그러나, 장단기 메모리 모델은 개별 종속 변수에 적합한 보간 방법이 적용될 경우 심지어 대규모의 결측치가 존재하는 데이터 셋에서 성능을 잘 유지하는 것으로 평가되었다. 장단기 메모리 모델의 성능은 고정된 결측치 개수를 포함하는 독립 변수의 개수가 1에서 7로 증가함에 따라 보다 감소하는 것으로 조사되었다.

영어초록

This study was conducted to assess the performance of a long short-term memory algorithm (LSTM), which was suitable for time series prediction, in the multivariate dataset with missing values. The full dataset was prepared by running a popular watershed model Hydrological Simulation Program-Fortran (HSPF) in the upper Nam River Basin for 3 years from 2016 to 2018, excluding a one-year warm up period, on a daily time step. The accuracy of prediction for the adopted LSTM model was evaluated in response to various interpolation methods as well as changes in the number of missing values (for dependent variables) and independent variables (containing a fixed number of missing values for either single or multiple variables). Note that the entire dataset is divided into training and test datasets at a ratio of 7:3. Results showed that different interpolation methods resulted in a considerable variation in performance of the LSTM model. Out of them, StructTS and RPART were selected as the best imputation methods recovering missing values for discharge and total phosphorus, respectively. The prediction error of the LSTM model increased gradually with increasing the number of missing values from 300 to 700. The LSTM model, however, appeared to maintain its performance fairly well even in data sets with a large amount of missing values as long as adequate interpolation methods were adopted for each dependent variable. The performance of the LSTM model degraded further as the number of independent variables containing the fixed number of missing values increased from 1 to 7. We believe that the proposed methodology can be used not only to reconstruct missing values in a real-time monitoring dataset with excellent performance, but also to improve the accuracy of prediction for (time series) deep learning models.

참고자료

· 없음