서답형 문항 온라인 채점 시스템의 개발과 적용 (Development and Application of an Online Scoring System for Constructed Response Items)

서지정보

· 발행기관 : 한국컴퓨터교육학회
· 수록지 정보 : 컴퓨터교육학회 논문지 / 17권 / 2호 / 39 ~ 51페이지
· 저자명 : 조지민, 김경훈

초록

서답형 문항이 포함된 대규모 평가에서 학생들의 답안이 어떻게 채점자들에게 분배되고 어떠한 체계적인 채점 과정을 거쳐야 하는 지에 대한 채점의 효율성은 전반적인 평가의 성공에 중요한 사안이다. 서답형 문항 채점에서 채점자 신뢰도를 확보하기 위해 채점자의 채점 결과가 얼마나 일관성이 있으며, 또한 채점자 간의 채점결과 또한 서로 일관성을 유지해야하는 것이 중요하다. 이 연구의 목적은 지필 평가로 시행된 서답형 문항 채점을 위한 온라인 채점 시스템을 설계하고 개발한 후, 이를 시행한 결과를 기반으로 온라인 채점 시스템에 대한 신뢰도를 확인하고자 하였다. 이러한 서답형 문항 온라인 채점은 채점자들의 채점 과정에 대한 정보로, 기존의 전통적인 채점 방식과의 비교와 함께 채점자 내 및 채점자 간의 신뢰도를 제공하고 있다. 그 결과로 온라인 채점 시스템이 신뢰롭고 타당한 서답형 문항 채점 결과를 얻는데 효과적이었다는 것을 알 수 있었다.

영어초록

In high-stakes tests for large groups, the efficiency with which students' responses are distributed toraters and how systematic scoring procedures are managed is important to the overall success of thetesting program. In the scoring of constructed response items, it is important to understand whether theraters themselves are making consistent judgments on the responses, and whether these judgments aresimilar across all raters in order to establish measures of rater reliability. The purpose of this study wasto design, develop and carry out a pilot test of an online scoring system for constructed response itemsadministered in a paper-and-pencil test to large groups, and to verify the system's reliability. In thisstudy, we show that this online system provided information on the scoring process of individual raters,including intra-rater and inter-rater consistency, compared to conventional scoring methods. We found thissystem to be especially effective for obtaining reliable and valid scores for constructed response items.

참고자료

· 없음