채점자 간 협의가 채점자의 채점 특성에 미치는 영향-예비 한국어 교원을 대상으로- (The Effect of Rater Discussion on Rating Characteristics of Pre-service Korean Language Teachers.)

서지정보

· 발행기관 : 이중언어학회
· 수록지 정보 : 이중언어학 / 98호 / 1 ~ 26페이지
· 저자명 : 강민석

초록

본 연구는 한국어 쓰기 평가에서 채점자 간 협의가 채점 특성에 미치는 영향을 분석함으로써, 한국어교육 현장에서 실질적으로 적용 가능한 채점의 신뢰도 확보 방안을 제시하는 데에 그 목적이 있다. 이를 위하여 29명의 채점자가 개별적으로 15편의 글을 채점한 후 그룹별로 협의 진행하고, 다시 15편의 글을 채점한 후 그 결과를 다국면 라쉬 모형(many-facet Rasch model)을 활용하여 분석하여, 채점 특성의 변화를 개별적, 총체적으로 분석하였다. 연구 결과, 채점자 간 협의가 엄격성의 편차를 감소시켜 채점자들의 엄격성 분포가 중앙을 기준으로 밀집된 것을 확인할 수 있었다. 또한 채점자 간 협의 이후 시행한 채점에서 일관성에 문제를 보인 채점자의 수가 감소하였다. 마지막으로 채점 범주에 대한 유의미한 편향성도 2차 채점에서 크게 감소하는 것으로 나타났다. 이러한 결과는 채점자 간 협의가 채점자의 전문성을 향상시킬 뿐만 아니라 채점자들 사이의 평가 기준에 대한 공통된 이해를 확립하는 데에도 기여함을 보여준다. 이 결과를 바탕으로 본 연구에서는 채점자 간 협의가 한국어 교육 현장과 한국어 교원 양성 현장에 적용 가능한 실용도 높은 역량 강화 방안임을 제안하였다.

영어초록

The purpose of this study is to analyze the effect of rater discussion on rating characteristics in Korean writing assessment and to propose a practical method for ensuring scoring reliability that can be applied in Korean language education settings. A group of 29 raters participated, initially scoring 15 writing samples independently, then engaging in group discussions to resolve scoring discrepancies, followed by scoring another set of 15 samples. The Many-Facet Rasch Model (MFRM) was used to evaluate changes in rater characteristics, including severity, consistency, and bias. The findings showed that rater discussions effectively narrowed the range of severity, leading to a more centralized distribution of scores. Consistency also improved, with fewer raters displaying inconsistency in the second round. Moreover, the occurrence of significant bias diminished, suggesting that discussions helped mitigate tendencies toward leniency or harshness. These results indicate that rater agreement not only enhances rater expertise but also contributes to establishing a shared understanding of evaluation criteria among raters.

참고자료

· 없음