비동등집단-개별가교검사 설계에서 IRT 능력척도 유지를 위한 다집단 가교-고정 추정과 대안적 추정의 비교 (Comparison of Multiple-Group Fixed-Anchor Estimation and Other Methods for Maintaining an IRT Ability Scale Under the Nonequivalent Groups Separate-Anchor Test Design)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 30권 / 4호 / 615 ~ 638페이지
· 저자명 : 김성훈

초록

문항반응이론(IRT)을 이용하여 동등화(equating)를 수행하는 학업성취도 검사 프로그램에서, 보안과 실시의 편의를 위해 검사는 비동등집단-개별가교검사 설계하에서 실시될 수 있다. 이 설계에서는 능력수준이 다른, 둘 이상의 피험자 집단이 공통적으로 실채점 검사(operational test) 문항에 응시하되 집단별로 문항은행에서 온 서로 다른 가교검사 문항에 응시한다. 본 연구는 이 설계하에서 얻어지는 다집단 검사 자료에 대해 실채점 검사의 문항모수와 피험자 집단의 능력분포를 문항은행의 공통 능력척도 상에서 추정하기 위해서 시도할 수 있는 다집단 IRT 가교-고정 추정 방법과 다른 세 가지 ‘0-1 추정 후 척도연계’ 방법을 제시하고, 모의실험을 통해 각 방법이 어떠한 검사 조건하에서 적절하게 사용될 수 있는지를 탐색하였다. 모의실험의 요인으로 IRT 모형(1PL & 3PL), 피험자 집단 간 비동등성, 표본크기 및 가교검사의 길이를 고려하였다. 두 집단 간 능력분포의 차이가 크고 3PL 모형이 분석에 사용되는 조건을 제외하고, 네 추정 방법은 실채점 검사의 문항모수의 복원에 있어 거의 대등한 기능을 보였다. 또한 다집단 가교-고정 추정 방법과 ‘다집단 0-1 추정 후 척도연계’ 방법은 피험자 집단의 능력분포를 적절하게 추정하였다. 그러나 그 예외 조건에서는 다집단 가교-고정 추정 방법이 다른 세 방법보다 문항모수의 복원에 있어 우수한 기능을 보였다.

영어초록

When test equating is conducted based on an item response theory (IRT) calibrated item pool, a new test can be administered under the nonequivalent groups separate-anchor test design. Under this design, two or more nonequivalent examinee groups take the same operational test items but, by group, different sets of anchor items that come from the item pool. The purpose of this study was to present four IRT methods for using the anchor items to estimate the parameters of the operational test items on the common ability scale of the item pool and to investigate their relative performances through computer simulations. The four IRT methods included a multiple-group fixed-anchor estimation method and other three ‘0-1 estimation and scale-linking’ methods. Four simulation factors were considered: (1) type of IRT model, (2) nonequivalence level between two ability distributions, (3) sample size, and (4) number of anchor items. Main results were as follows. Except for the conditions in which the three-parameter logistic (3PL) model was used for analysis and two ability distributions much differed from each other, the four IRT methods almost equally performed in accurately recovering the true parameters of the operational test items. However, in the exceptional conditions, the multiple-group fixed-anchor estimation method outperformed the other three methods for the recovery of the item parameters.

참고자료

· 없음