재검 여부와 재검 횟수에 따른 검사 동등화 차이 연구 (A Study on Equating Differences by Repeater Statusand the Number of Repetition)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 20권 / 4호 / 213 ~ 233페이지
· 저자명 : 김희경

초록

검사 동등화는 피험자가 어떤 유형의 동형검사를 치렀는지에 관계없이 검사 점수 간 비교를 가능하게 해준다. 검사 동등화가 적절히 수행되기 위해서 지켜져야 할 집단불변성(population invariance) 원칙에 따르면 동등화 결과는 어떤 집단을 사용하는지에 상관없이 항상 유일해야한다. 전체 피험자 집단을 재검 여부에 따라 구분하면 초검자 집단과 재검자 집단으로 나눌 수 있다. 재검자는 이전에 똑같은 검사상황을 접한 경험이 있으므로 초검자에 비해 유리할 수 있다. 재검자의 비율이 높은 검사 도구의 경우 재검자가 동등화에 미치는 영향에 대한 우려가 제기되고 있고 따라서 재검자를 제거한 동등화를 실시하는 것이 바람직한지 여부에 대한 확인이 필요하다. 이 연구는 재검자가 동등화에 미치는 영향을 전체 집단을 이용한 동등화와 초검자 집단을 이용한 동등화를 비교하여 집단불변성 원칙을 평가하는 접근방법을 통해 조사하였다. IRT 진점수 동등화와 동백분위 동등화가 이용되었으며, 또한 재검 횟수에 따라 재검자가 동등화에 미치는 영향이 다른지 확인하기 위하여 재검자 집단을 두 번째 재검자와 두 번 이상 다수 재검자로 구분하였다. 이 연구에 쓰인 검사 도구의 경우, 전체 집단과 초검자 집단 간에 동등화 결과 차이는 크지 않았으므로 전체 집단을 이용한 동등화가 정당화 되었다. 하지만 재검자의 비율이 높을수록 재검자의 영향이 증가할 수 있기 때문에 재검자의 비율이 높은 검사 도구의 경우 이 연구에서 제시한 바와 같이 재검자가 동등화에 미치는 영향을 확인하는 절차가 필요하다.

영어초록

Population invariance property should be satisfied in order to say that the equating relationship is appropriate. Under the population invariance property, the equating relationship for a test should be the same regardless of the group used to conduct the equating. Repeaters are examinees who have taken the test previously so that they might benefit from experience. Especially when a test contains high proportion of repeaters, test equating might be affected by inclusion of repeaters. The purpose of this study is to evaluate the effect of repeaters on equating using a population invariance approach, and to provide guidance for considering weather or not to eliminate repeaters in equating. This study used IRT true score and equipercentile equating methods. Also, repeaters were classified into second-timers and examinees who are repeating more than twice(multiple repeaters) to evaluate weather or not to ignore the number of repetitions. As an overall evaluation, equating difference between total group and non-repeater group was not large enough to be serious concern. Therefore, the total group equating appears to be justified for a test used in this study. However, when the proportion of repeaters is greater, the comparison between total group and non-repeaters group might show greater difference. For the test that contains high proportion of repeaters, the repeaters' effect on equating should be examined as was done in this study.

참고자료

· 없음