작문 평가 준거의 평가자 간 해석 차이에 대한 연구 (A study on Different Interpretation of Writing Evaluative Criteria among Raters)

서지정보

· 발행기관 : 한국작문학회
· 수록지 정보 : 작문연구 / 47호 / 109 ~ 144페이지
· 저자명 : 천해주, 김영서, 박소희, 김주환

초록

본 연구는 한국과 미국의 작문 능력 비교 평가를 위해 도출된 작문 평가 준거의 평가자 간 해석 차이에 대해 탐구하는 것을 목적으로 한다. 이를 위하여 평가자 3인이 동일한 평가 준거를 사용하여 중학교 2학년 학생 29명의 글(설명글 15편, 설득글 14편)을 독립적으로 평가하였다. 평가자 간 일치도 확인 결과, 평가자 3인 사이의 의견 일치도는 설명하는 글이 77.86%, 설득하는 글이 76.45%였다. 준거별 일치도의 경우 ‘문체의 적절성’ 준거를 제외한 모든 준거가 신뢰할 수 있는 수준인 70%를 넘었다. 이후 평가자 간의 논의를 통해 다음과 같은 평가 범주 해석상의 쟁점들을 도출할 수 있었다. 첫째로, ‘내용’ 범주에서는 주제와 소재, 세부 내용 등 평가 준거의 표현에 대한 평가자의 이해 차이로 인해 준거의 일관된 적용에 어려움이 있었다. 둘째로 ‘조직’ 범주의 평가에 있어 글의 내용이나 분량의 개입이 불가피했다. 이는 ‘내용’과 ‘조직’ 범주의 독립적인 평가의 어려움을 보여준다. 셋째로 ‘표현’ 범주 중 ‘문체의 적절성’ 준거에 있어 쓰기 목적별 어조 및 문체의 예시를 포함한 준거 상세화 작업의 필요성을 확인했다. 마지막으로 ‘표기’ 범주에서 표기상 오류, 언어 관습의 적용을 평가하는 데 있어 척도 적용의 일관성 문제가 있었다.
본 연구는 학생 글 표본의 수가 한정되어 있고 쓰기 평가 준거의 타당성을 통계적으로 검증한 것은 아니라는 점에서 한계가 있다. 그러나 기존 작문 교육 연구 영역에서 평가 준거에 대한 해석의 차이를 바탕으로 평가 준거를 더욱 타당한 쓰기 평가 도구로 발전시켜 나가기 위한 단계적 연구라는 점에서 의의가 있다.

영어초록

The purpose of this study is to examine how three raters interpretate writing evaluative criteria differently when they apply them to assess writing ability of secondary school students in Korea and the United States. Three raters independently evaluated a total of 29 (15 explanatory and 14 persuasive) essays written by 8th-grade students. As a result of the interrater agreement, an exact agreement rate among the three raters on the total criteria was 77.86% for explanatory essay and 76.45% for persuasive essay. All criteria except the ‘appropriateness of style’ criterion exceeded the acceptable rate of the exact agreement (70%). The following issues about interpreting the categories of the rubric were drawn during the rater discussion. First, in the ‘Ideas’ category, there was a high possibility of interference of several criteria due to different interpretations of some terms between the raters, such as theme, topic, and details. Secondly, the content or amount of the article influenced the raters’ evaluation of the ‘Organization’ category. Third, in the ‘Presentation’ category, interpreting the ‘appropriateness of style’ required further information on tone and style in each writing purpose. Finally, in the ‘Conventions’ category, the raters applied the evaluative criterion less consistently when assessing conventional errors. This study has limitations in terms of its small sample size and no statistical testing on the validity of the rubric. Nonetheless, this study is meaningful as it examines differences of raters’ interpretation systematically in order to move forward to the large-scale study on rubric validation.

참고자료

· 없음