t통계량에 가장 작은 영향을 미치는 관측값의 위치에 관한 연구 (A study on the location of the observation which has the least effect on the t statistic)

서지정보

· 발행기관 : 한국데이터정보과학회
· 수록지 정보 : 한국데이터정보과학회지 / 30권 / 6호 / 1221 ~ 1232페이지
· 저자명 : 박선영, 강현석, 김소라, 김홍기

초록

이상치는 데이터 분석 결과를 왜곡하여 오역을 가져오기 때문에 데이터 분석 과정에서 이상치를 판별하고 처리하는 단계는 매우 중요하다. 이상치에 관한 문제 해결을 위해 다양한 방법론이 연구되고 있으며 그 중 영향함수는 이러한 이상치를 판별하는데 활용되는 함수이다. Hampel은 영향함수가 많은 통계량에서 이상치의 판별이 가능함을 보였다. 한편, 방대한 양의 데이터가 실시간으로 쌓이는 빅데이터의 분석 과정에서 안정적인 데이터의 선별은 상당히 중요한 과정이다. 본 연구에서는 관측값들이 갖는 t통계량에 대한 영향력을 측정하는 영향함수를 이용해 이상치를 판별하기 위해서 사용되는 기존의 영향함수의 역할을 역으로 활용해 본다. 즉, 영향함수를 유도하고 이상치의 판별에 주로 활용하였던 선행 연구들과는 달리 영향함수의 값을 최소로 하는 관측값을 찾아 t통계량에 대해 안정적인 관측값의 위치를 파악한다.

영어초록

One of the features in big data is a high-volume. Therefore, when we analyze bid data, it is important to recognize stable data as well as to detect outliers. In this study, we try to find the location of an observation which has the least effect on the t statistic using influence function which originally has been introduced to detect highly influencing observations. We find the value of observations in such a way that the influence function of the $t$ statistic is zero given that the null hypothesis is true. Also we carry out simulations with random samples from normal distributions to compute the true changes in the t statistic, which has been used to justify the location with the least effect. As a result of the simulations, it is proved that the location of the observation with zero influence function value coincides the location of the observation with the least effect on the t statistic.

참고자료

· 없음