불균형 단위검사 점수의 신뢰도 추정 방법 비교 (A Comparison of reliability estimation methods for unbalanced testlet score)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 24권 / 2호 / 401 ~ 421페이지
· 저자명 : 박인용, 이명숙, 이규민

초록

이 연구에서는 단위검사에 속한 문항이 불균형으로 이루어진 검사 점수의 신뢰도 추정방법을 비교하였다. 단위검사에 속한 문항의 불균형 정도에 따라 일반화가능도 이론과 문항반응이론에서 하나의 독립적인 문항을 측정의 단위로 하여 단위검사에 접근하는 방법(문항기반 방법), 단위검사를 측정의 단위로 하여 접근하는 방법(단위검사기반 방법), 측정 단위는 각각의 문항이지만 단위검사에 내재된 속성을 반영한 방법(단위검사에 속한 문항기반 방법)으로 산출한 검사 점수의 신뢰도 결과 비교를 통하여 이론과 방법 간의 적합성을 탐색하고자 하였다. 이를 위해 모의실험을 통하여 불균형 비율에 따라 데이터를 생성하여 신뢰도를 산출한 후 결과를 비교하였다. 그 결과 문항반응이론을 적용한 경우 불균형 정도에 따른 검사점수의 신뢰도 크기 패턴, 과대추정 정도, 과소추정정도의 패턴이 균형자료로 분석한 결과와 유사하게 나타났다. 그러나, 일반화가능도이론을 적용하여 단위검사를 측정단위로 사용한 경우 단위검사에 속한 문항의 불균형 정도가 신뢰도 추정에 영향을 미치는 것으로 나타났다.

영어초록

This study was designed to compare several estimation methods for the reliability of test scores composed of testlets which have a different number of items. The purpose of this study was to investigate the relative appropriateness among three methods: item-based method, testlet-based method and item-nested within testlet method, under G-theory and IRT by comparing the reliability estimates obtained by those methods. For accomplishing this purpose, it is used that the simulation technique considered degree of unbalanced data structure.
In IRT, the results of this study were similar to the results of previous studies for estimating the reliability of a test composed of testlets which have a balanced data structure in the pattern of reliability estimates, the magnitudes of overestimation, and the pattern of overestimation. However, in G-theory, the reliability estimates obtained by testlet-based method were influenced by the degree of unbalanced data structure of testlets.

참고자료

· 없음