국어과 수행 평가의 평가자 신뢰도 보고 방안 탐색 -고등학생 요약문 평가 결과를 중심으로- (Comparison of Approaches for Estimating Reliability in Performance Assessment of Korean Language Arts - based on high school students' summary writing assessment-)

서지정보

· 발행기관 : 한국작문학회
· 수록지 정보 : 작문연구 / 14호 / 395 ~ 424페이지
· 저자명 : 최숙기

초록

본 연구의 목적은 국어과 수행평가의 확대 시행을 위하여 평가자 신뢰도 정보를 추정하는 다양한 방안들을 탐색하고 결과를 비교 분석하였다. 이를 통해 객관적이고 효율적인 신뢰도 산출 방안에 정보를 마련하고, 평가 상황에 적합한 신뢰도 산출 방안에 대하여 제시하였다.
이 연구에서는 19명의 현직 국어교사들을 대상으로 하여 고등학생 40명의 요약문 평가 결과에 대한 신뢰도 정보를 다양한 신뢰도 추정 방법등을 통해 추정하였다. 또한 각 신뢰도 추정 방법의 특징과 신뢰도 계수 간의 차이 정도를 비교 분석하였다. 이 연구에서는 SPSS 프로그램을 활용하여 상관계수, Cronbach α, 급내상관계수인 ICC와 FACETS 프로그램과 EduG 프로그램을 통해 Rasch 모형에 기반한 평가자 신뢰도 분석과 일반화 가능도 이론에 기반 한 신뢰도 분석을 실시하였다. 비교 결과는 다음과 같다.
첫째, 평가자 간 신뢰도는 상관계수, Cronbach α, 급내상관계수인 ICC를 활용할 수 있고, 평가자 내 신뢰도는 Rasch 모형에 기반한 평가자 신뢰도 분석과 일반화 가능도 이론에 의한 계수 값을 활용할 수 있다.
둘째, 평가자 간 신뢰도는 평가자 일치도 정도에 기반을 한 분석으로 상관분석에 기반을 두고 있기 때문에, 계수 간 비교가 다소 용이한 편이다. 그러나 Cronbach α의 경우 그 일치도가 과잉 추정되는 문제가 발생하므로, 평가자 내 신뢰도 정보를 함께 활용하거나 일반화가능도 계수를 함께 제시하여 줄 필요가 있다.

영어초록

The purpose of this study was to compare methods used for estimating reliability of Performance Assessment based on high school students' summary writing assessment. 19 Korean language teachers assessed 40 summary writing of high school students. the rating data was analyzed by the computer program FACETS (ver 3.66.1, Linacre, 2004). In this study, Reliability of ratings was examined several ways, including generalizability analysis, rasch model analysis, coefficient alpha, Intra-class Correlation Coefficients, and Pearson r.
The followings are the summary of the major findings;(1) Coefficient alpha, Intra-class Correlation Coefficients, and Pearson r under Classical Test Theory (CTT) were used to estimate inter-rater reliability. And generalizability theory and the many-facet rasch model were each used to estimate intra-rater reliability. Especially, MFRM provides information about rater's the severity/lenience measures and consistency explaining intra-rater reliability.
(2) Cronbach’s alpha tended to overestimate reliability coefficient. To adjust of the over-estimation, generalizability coefficients and reliability of MFRM can be used for alternative reliability indices.

참고자료

· 없음