컴퓨터 기반 맞춤형 검사의 구현을 위한 웹 기반 플랫폼(LIVECAT)의 정확성 및 효율성 검증 (Accuracy and Efficiency of Web-based Assessment Platform (LIVECAT) for Computerized Adaptive Testing)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 18권 / 4호 / 77 ~ 87페이지
· 저자명 : 김도경, 서동기

초록

최근 컴퓨터 기반 맞춤형 검사에 대한 필요성이 증가하는 데 반해 현장적용 수준은 미미한 편이다. 이에 본 연구는 컴퓨터 기반 맞춤형 검사를 실질적으로 구현할 수 있는 웹 기반 플랫폼, LIVECAT을 개발하고, 개발한 플랫폼의 정확성과 효율성을 검증하였다. 해당 플랫폼은 문항반응이론을 적용한 컴퓨터 기반 맞춤형 검사를 활용하여 문항은행의 제작 및 관리부터 검사의 제작, 검사 시행, 결과 제공까지 가능하도록 개발되었다. H 대학교 전공강의 수업 수강생 141명을 대상으로 해당 플랫폼의 정확성 및 효율성 검증을 위한 연구를 진행하였다. 그 결과, LIVECAT을 통해 추정된 능력모수와 지필검사를 통해 추정한 능력모수의 상관계수가 .779(p<.001)로 산출되었다. 또한 LIVECAT을 활용한 검사의 길이가 지필검사의 길이보다 약 33% 짧았다. 즉, LIVECAT을 활용할 경우 지필검사보다 더 적은 수의 문항을 통해 지필검사의 결과와 비슷한 수준의 결과를 제공할 수 있음을 검증하였다.

영어초록

Recently, there has been an increase in the need for computerized adaptive testing(CAT), however its practical use is limited. In this study, we developed a web-based platform, LIVECAT, that could practically implement CAT and verified the accuracy and efficiency of our CAT platform. By using this web-based platform based on item response theory, user enable to produce and manage a item bank, conduct tests and report results of tests easily. 141 students of H University attended on this study to demonstrate the accuracy and efficiency of the LIVECAT. As a result, the correlation coefficient between estimated through the LIVECAT and computed by paper-based test was .779(p<.001). In addition, the length of the test using LIVECAT was about 33% shorter than the length of the paper-based test. In conclusion, if examinees take the exam by using LIVECAT, they can obtain similar results compared to those of a paper-based test with fewer items.

참고자료

· 없음