측정 비불변성이 ANCOVA에 기반한 처치효과 추론에 미치는 영향: 응답이동에 의한 절편 비동일성을 중심으로 (The Impact of Measurement Non-Invariance on Treatment Effect Inference Based on ANCOVA: Focusing on Intercept Non-Invariance Due to Response Shift)

서지정보

· 발행기관 : 강원대학교 사회과학연구원
· 수록지 정보 : 사회과학연구 / 63권 / 2호 / 173 ~ 204페이지
· 저자명 : 황유경, 석혜원

초록

심리학 및 관련 분야에서 개입의 효과를 알아보기 위해 사전-사후검사 통제집단 설계를 사용하여 자료를 수집하 고, 수집된 자료를 ANCOVA를 사용해 분석하는 경우가 종종 있다. 이때 ANCOVA에 기반하여 처치효과를 정확히 추론하기 위해서는 측정불변성이 성립해야 한다. 그러나, 개입으로 인해 처치집단에서 사전, 사후점수 간에 측정불 변성이 깨지는 응답이동 현상이 발생할 수 있다. 선행 연구에 따르면, 응답이동 중에서도 특히 절편 비동일성과 관련된 재조정 현상이 발생했을 때 처치효과 추론 결과가 왜곡될 수 있으나, 이를 ANCOVA에 기반한 처치효과 추론 맥락에서 확인한 연구는 제한적이다. 이에, 본 연구는 재조정으로 인해 처치집단에서 발생한 사전, 사후시점 간 절편 비동일성이 처치효과 추론에 어떠한 영향을 미치는지 시뮬레이션을 통해 살펴보았다. 표본크기, 처치효과 크기, 측정 비불변성 크기, 비불변 문항 비율에 따라 다양한 조건 하에 자료를 생성하였고, 생성된 자료를 측정불변 성을 전제하고 각각 관찰변수를 사용한 ANCOVA와 잠재변수를 사용한 ANCOVA의 두 모형으로 분석하였다. 추론의 정확성은 추정치의 편향, 평균오차제곱, 커버리지, 검정력(혹은 제1종 오류율)을 기준으로 평가하였다. 그 결과, 절편 비동일성이 존재할 경우, 관찰변수 ANCOVA와 잠재변수 ANCOVA 모두에서 처치효과 추정에 편향이 발생하고 검정의 정확성이 떨어지는 것으로 나타났다. 구체적으로, 절편 비동일성의 크기가 증가하고 비불변 문항 의 비율이 증가할수록 편향은 더 커지고 커버리지는 감소하였고, 표본크기를 증가시키더라도 편향이 실질적으로 감소하지 않았다. 또한, 비불변 문항의 비율보다는 절편 비동일성의 크기가 처치효과 편향에 더 큰 영향을 미치며, 처치효과가 존재할 때는 절편 비동일성 정도가 심하지 않더라도 처치효과 추론이 상당히 왜곡될 수 있는 것으로 나타났다. 이러한 결과는 ANCOVA에 기반한 처치효과 추론에서 절편 동일성을 확보하는 것이 매우 중요함을 시사한다.

영어초록

In psychology and related fields, pretest-posttest control group designs are often used to collect data to evaluate the effects of interventions. The collected data are frequently analyzed using ANCOVA. For accurate inference of treatment effects based on ANCOVA, measurement invariance must be maintained. However, interventions may cause response shifts in the treatment group, disrupting measurement invariance between pretest and posttest scores. Prior research indicates that recalibration, particularly related to intercept non-invariance, can distort treatment effect inferences. Yet, studies verifying this within the context of ANCOVA-based inference are limited. Therefore, this study examines the impact of intercept non-invariance due to recalibration in the treatment group on treatment effect inferences based on a simulation. Data were generated under various conditions, including sample size, treat- ment effect size, degree of measurement non-invariance, and proportion of non-invariant items. The generated data were analyzed using two models: ANCOVA with observed variables and ANCOVA with latent variables, both as- suming measurement invariance. The accuracy of inferences was assessed based on bias in estimates, mean square error, coverage, and power (or Type I error rate). Results indicated that the presence of intercept non-invariance leads to bias in treatment effect estimation and decreases the accuracy of inferences in both observed ANCOVA and latent ANCOVA. Specifically, as the size of intercept non-invariance and the proportion of non-invariant items increased, bias increased and coverage decreased, with sample size increase not significantly reducing the bias. Moreover, the size of intercept non-invariance had a greater impact on treatment effect bias than the proportion of non-invariant items. Even with moderate intercept non-invariance, substantial distortion in treatment effect in- ference occurred when a treatment effect was present. These findings suggest the critical importance of ensuring intercept invariance in ANCOVA-based treatment effect inferences.

참고자료

· 없음