원점수 분포 최적화를 위한 문항 난이도 구성 방안 (Finding the Optimal Item Combination to Follow the Predetermined Raw Score Distribution)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 26권 / 1호 / 63 ~ 81페이지
· 저자명 : 이상하

초록

이 연구는 선형계획법(linear programming)과 Lord & Novick의 공식을 사용하여 출제자가 의도하고 원점수 분포가 나타날 수 있도록 시험의 문항 난이도 구성을 최적화하는 방안을 제안하였다. 이 방안을 적용하기 위해서는 출제자가 의도하는 원점수 분포를 누적확률 분포로 변환하고, Lord & Novick의 공식을 사용하여 고전검사이론의 문항 난이도를 문항반응이론의 난이도 모수로 변환하여야 한다. 그리고 선형계획법을 사용하여 문항반응이론의 검사특성함수(test characteristic function)가 원점수 분포를 규정하는 값에 가장 가까워지도록 문항특성함수(item characteristic function)를 조합하는 절차를 통해 문항들을 선택하게 된다. 원점수 분포의 최적화, 원점수 평균의 최적화, 난수 합의 최적화 방법을 사용하여 문항들을 조합하고 원점수 분포를 추정하여 비교하였는데, 원점수 분포 최적화 방안이 출제자와 의도했던 원점수 분포에 가장 가까운 결과를 보여주었다. 이 방안은 폐쇄형 합숙출제 등과 같이 사전검사를 통해 문항의 측정학적 정보를 도출하기 어렵거나, 고전검사이론에 기반한 문제은행을 활용하여 검사지를 구성할 때 유용하게 사용될 수 있다.

영어초록

The purpose of this study is to suggest how to find the optimal item combination that follows the predetermined raw score distribution. This method is based on the Lord & Novick's formula and linear programming. The Lord & Novick's formula was introduced to transform item difficulty into IRT b-parameter, and the linear programming has been used for automatic test assembly for the last 30 years.
As for the suggested method, item difficulties are transformed into IRT b parameters by Lord & Novick's formula. And the cumulative probabilities of 20 raw scores are computed from the predetermined distribution of raw scores. The cumulative probabilities of the raw scores have a role of connecting the predetermined raw score distribution into the IRT test characteristic function. The final stage is to find an optimal item set that is the closest to the test characteristic function related to the predetermined distribution of raw scores. To illustrate utility of the suggested approach, it was compared with other approaches, which are optimizing mean of raw scores and optimizing mean of random number. The suggested approach showed better results than others in that the expected raw score distribution is the closest to the predetermined raw score distribution.
There are many situations that item writers are asked to control the raw score distribution and others when the psychometric information of items is not available or enough. The suggest approach can give them one of tools.

참고자료

· 없음