공통문항군에 포함된 차별기능문항이 IRT 수직척도 능력추정치에 미치는 영향 (The Effect of differential item functioning in common items on the ability parameter estimates of IRT vertical scale)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 34권 / 1호 / 101 ~ 129페이지
· 저자명 : 신혜성, 강상진, 이규민

초록

수직척도(vertical scale)는 동일한 구인(construct)을 측정하는 여러 학년 또는 연령의 검사점수가 하나의 공통척도 상에 나타나도록 하여 학년 간 또는 연령 간 성장을 올바르게 측정할 수 있도록 한다. 수직척도 개발을 위해 학년 간 공통문항 설계를 적용할 때 공통문항이 인접 학년에서 서로 다르게 기능하는 차별기능문항이라면, 이는 수직척도의 양호도에 영향을 미칠 수 있다. 공통문항이 서로 다른 학년이나 연령에게 사용될 때 차별기능문항으로 판별되는 경우는 대규모 검사에서 빈번히 발견되는 현상으로, 수직척도를 왜곡시켜 학생의 성장을 제대로 파악할 수 없게 만들 수 있다. 이에 본 연구에서는 IRT 수직척도 개발에서 공통문항군에 차별기능문항이 포함되어 있을 때 차별기능문항의 방향, 정도, 빈도가 학년별 능력추정치 평균과 표준편차에 미치는 영향을 모의자료를 통해 살펴보았다. 더불어 공통문항군에서 차별기능문항을 제외하는 방법이 수직척도의 왜곡 문제를 해결할 수 있는 방안이 될 수 있는지 검토하였다. 연구 결과 공통문항군에 차별기능문항이 포함되어있을 경우 조건에 관계없이 수직척도가 왜곡될 수 있으므로 주의할 필요가 있고, 단순히 차별기능문항의 개수만이 아니라 차별기능 정도 또한 영향을 미치는 요인으로 나타났다. 차별기능문항을 공통문항에서 제외하는 방법은 추정치의 양호도와 정확성을 높이고, 수직척도의 왜곡을 방지하는 방법이 될 수 있으나 검사의 타당성을 해치지 않는 수준에서 제거하는 방안이 고려되어야 한다.

영어초록

A vertical scale refers to a common scale where all scores of different test levels such as different grades and ages that measure the same construct could be compared. By comparing achievements of students across grade levels on a vertical scale, the students’ academic growth could be measured and the effectiveness of schools could be assessed in fair manners. A major problem would be raised if some of the common items functioned differently [Differential Item Functioning (DIF)] in adjacent grade levels within a common-item non-equivalent groups linking context. This study was aimed to investigate the influences of DIF in common-items on the ability parameter estimate of the IRT vertical scale. Simulation techniques were used with several conditions by specifying three factors: the direction of DIF, the magnitude of DIF, and the frequency of DIF items. Furthermore, we investigated the effects of removing DIF items from common items on the IRT vertical scale by comparing the cases of IRT vertical scales including DIF. Based on the results of this study, the vertical scale from the analysis including DIF in common-items would be inappropriate regardless of DIF conditions. It would be recommended that the researchers should check the number of DIF items and the magnitude and direction of DIF items. Removing DIF items could be an plausible solution to improve the quality of IRT vertical scale. Nevertheless, the researchers should be careful in removing DIF items from common items for maintaining the construct validity of the whole test.

참고자료

· 없음