비 최적조건의 행렬표집설계에서 베이지안 동등화의 최소조건 탐색 (Searching Minimal Conditions for Bayesian IRT Equating in Non-optimal Matrix-sampled Design)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 28권 / 4호 / 1177 ~ 1201페이지
· 저자명 : 남현우

초록

양분 문항 뿐 아니라 다분 채점 문항이 포함되어 있고 단일 차원을 가정하기 어려운 검사로서, 문항 노출 위험을 줄이고 피험자의 수험 부담을 덜어주기 위해 가교 문항이 행렬 표집 방식으로 배치되는데 각 구획에 배정된 피험자들의 능력 수준이 같지 않고 그 수도 적은 검사가 있을 수 있다. 기존의 최대우도 추정 방식으로는 해결하기 어려운 이러한 검사 자료에서 베이지안 방식으로 문항반응이론의 모수를 추정하고 동등화 할 때 고려해야 할 최소한의 조건을 찾는 것이 본 연구의 목표이다. 국가수준학업성취도평가 2006년-2007년의 검사 자료를 바탕으로 구획 수(1개, 6개, 11개, 15개)와 그에 따른 피험자 수(1,500명, 250명, 136명, 100명), 능력 수준(평균 수준, 높은 수준, 낮은 수준), 검사의 차원성(1-차원, 2-차원) 등을 고려해서 모의 자료를 생성했다. 준거 검사의 가교 문항 특성과 피험자 능력 수준을 상위 사전 정보(hyper prior)로 추가하면서 문항 및 능력 모수를 추정하고 동등화를 수행했다. 양분 채점 문항은 2-모수 로지스틱 모형을, 다분 채점 문항은 등급반응모형을 가정하여 WinBUGS 프로그램으로 IRT 모수를 추정하고 동등화를 수행했다. 다양한 비 최적 조건에서의 동등화 결과는 최적 조건의 동등화를 준거로 하는 평균제곱편차(RMSD)를 계산하여 평가했다.
피험자 능력이 평균 수준일 때에는 문항 특성만을 사전 정보로 활용해도 구획 수나 표본 크기, 검사의 차원성에 따른 동등화의 영향이 없었다. 한편, 능력 수준이 평균보다 높거나 낮을 경우에는 구획 수가 증가하거나 표본 크기가 작아짐에 따라 동등화 오차가 커졌는데, 피험자 능력 수준을 사전 정보로 추가함으로써 해소되었다. 피험자 능력 분포가 구획 간에 고를 때 가장 양호한 동등화 결과를 보였다. 구획 간 피험자 능력 수준이 다르더라도 모두 다 높거나 낮지 않다면, 피험자 능력 분포를 사전 정보로 고려하지 않아도 안정적인 베이지안 동등화를 수행할 수 있었다.

영어초록

This research was done to search the minimal conditions for estimating and equating parameters in non-optimal design. Specifically it was intended to address IRT equating issues such as number of blocks and sample size, different ability levels between blocks, multidimensionality of mixed-format test in matrix-sampled anchor items design. Research data was simulated from the K-NAEA 2006-2007. IRT parameters are estimated and equated by the WinBUGS equipped with MCMC techniques that are particularly well-suited to complex IRT models. WinBUGS code for IRT models of mixed-format test, 2-parameter logistic model for dichotomous items and graded response model for polytomous items, was made. Bayesian IRT equating was done by hierarchical prior method. As a second stage prior for hyper parameters, normal distribution was assumed for item and person parameters. The hyper item parameters for mean were given from parameter estimates posteriors, and for variance were manipulated by changing precision level of normal distribution. The hyper person parameter for mean was manipulated by changing examinee’s ability levels, for variance was fixed as . The quality of Bayesian IRT equating was evaluated by the root mean squared difference from the criterion equating of optimal sampling design. Bayesian IRT equating with priors of anchor item parameters in the sample of average level of ability group was done well, even though the number of blocks was high and the test was not assumed unidimensional. In the sample of higher or lower level of ability group, the Bayesian equating with priors of item parameters only was not stable enough. But the unstable equating was settled when the priors of person parameter was added. If the sample was not heavily biased toward higher or lower level of ability group, the Bayesian IRT equating without considering priors of examinee’s ability was performed pretty well.

참고자료

· 없음