비선형 다층모형에 의한 차별기능문항 분석 (DIF Identification via Hierarchical Nonlinear Model)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 23권 / 1호 / 171 ~ 190페이지
· 저자명 : 이명애

초록

이 연구에서는 가상자료를 사용한 반복연구를 수행하고 그 결과와 차별기능문항 분석에 많이 활용되는 멘텔-헨젤 방법의 결과와의 비교를 통해 2수준 비선형 다층모형에 의한 차별기능문항 분석 방법을 제시하기 위한 것이다. 연구목적을 달성하기 위해 설정된 연구문제는 첫째, 비선형 다층모형에 의한 차별기능문항 분석 결과는 어떠하며 문항 수와 피험자 수에 따른 차이가 있는가? 둘째, 차별기능문항 분석에 있어 비선형 다층모형과 멘텔-헨젤 방법에 어떤 차이가 있는가? 셋째, 비선형 다층모형에 의한 차별기능문항 판정 기준은 무엇인가? 이다. 연구결과를 요약하면 첫째, 모든 조건에서 비선형 다층모형에 의한 차별기능문항의 계수의 절대값이 비차별기능문항의 계수의 절대값보다 현저히 큰 편이었다. 또한 문항 수와 피험자 수에 따른 차이는 크지 않았으나 문항 수와 피험자 수가 많을수록 비차별기능문항과 차별기능문항의 차이가 뚜렷하고 결과가 안정적이었다. 둘째, 비선형 다층모형의 계수값과 멘텔-헨젤 방법의 값간 상관의 평균은 10문항에서는 -0.95～-0.96, 20문항에서는 -0.97로 높아 두 분석 결과가 유사하였다. 두 방법 간의 상관은 피험자 수에 따른 차이는 거의 없었고 문항 수가 많을수록 높았으나 그 차이가 크지 않았다. 셋째, 비선형 다층모형에 의한 차별기능문항 판정 기준을 탐색하기 위해 비선형 다층모형의 계수값, 계수값의 통계적 유의도를 나타내는 확률값을 멘텔-헨젤 방법에서의 값의 평균과 비교하여 차별기능문항으로 판정되는 비율을 분석하였다. 분석 결과 계수값이 확률값에 비해 차별기능문항을 제대로 판정하는 비율이 더 높아 계수값의 상대적 크기에 근거하여 차별기능 문항을 판정하는 것도 고려할 수 있는 방법이 될 수 있음을 알 수 있었다. 그러나 보다 객관적인 판정 기준을 마련하는 것이 필요하며 이를 위한 추가적인 연구가 이루어져야 한다.

영어초록

This study is to illustrate the way of applying hierarchical nonlinear model for identifying Differential Item Functioning (DIF). To achieve the goal, 50 repeated analysis in four conditions were carried out using simulation data and the results were compared with those of Mantel-Haenszel procedure. Three specific objectives of this study were as follows; First, does number of items and examinees make a difference in DIF identification of hierarchical nonlinear model? Second, What's difference in DIF identification between hierarchical nonlinear model and Mantel-Haenszel procedure? Third, What's criterion for DIF identification of hierarchical nonlinear model?The results of this study can be summarized as follows; First, the absolute value of coefficients of DIF items was much larger than those of non-DIF items. And a difference in DIF identification of hierarchical nonlinear model was a little according to the number of items and examinees. Second, the correlations of the DIF identification values between hierarchical nonlinear model and Mantel-Haenszel procedure were over 0.95 in all conditions. So the results of two methods, hierarchical nonlinear model and Mantel-Haenszel, were similar in DIF identification. Third, to explore the criterion for DIF identification of hierarchical nonlinear model, the coefficient value of each item was compared with p-value and value. The relative coefficient value of each item can be a criterion for DIF identification of hierarchical nonlinear model. But further studies must be carried out to find more objective and reliable criterion.

참고자료

· 없음