Rasch 모형을 활용한 요약문 평가 준거 개발 및 타당도 분석 －고등학생 설명문 텍스트 요약하기를 중심으로－ (A Study on Developing Evaluation Criteria of Summary Text Using Rasch Model －Based on Highschool Students’ Summarizing of Expository Text－)

서지정보

· 발행기관 : 한국독서학회
· 수록지 정보 : 독서연구 / 25호 / 415 ~ 451페이지
· 저자명 : 최숙기

초록

본 연구는 대안적 읽기 평가 방법인 요약하기를 활용한 읽기 능력 평가의실시를 위하여, 객관적이고 타당한 요약문 평가 준거를 개발하고 이에 대한타당성을 검토하는 데 그 목적이 있다. 이를 위해 고등학생이 작성한 40편의요약문에 대하여 개발된 요약문 평가 준거를 적용하여 19명의 현직 국어교사가 평가를 실시하였고 그 결과를 토대로 평가 준거 설정의 타당도를 분석하였다. 연구의 결과를 정리하면 다음과 같다.
첫째, 요약문 평가 준거를 적용하였을 때 19명의 국어교사의 엄격성 수준은 -0.13logit(SE= .05)부터 0.12logit(SE=0.5)까지의 범위에 분포하였으며 엄격성 차이는 유의하였지만 그 차이는 그리 크지 않았다. 또한 19명의 평가자모두 적합도 내에 위치하여 전반적으로 안정된 평가를 수행하였다. 둘째,요약문 평가 요인과 관련하여 표현 요인은 1.32logit으로 부적합, 형식 및어법은 0.67logit으로 과적합으로 나타났다. 셋째, 요약문 평가 척도인 7점척도가 요약문 능력을 변별하는 데 있어 적절하지 않은 척도로 나타났다.

영어초록

The purpose of present study were to develop evaluation Criteria of Summary Text and to analysis validity of the criteria and rating scale using Many-Facets Rasch Model.
For that, the 19 Korean language teachers assessed 40 summary writing of high school students. the rating data was analyzed by the computer program FACETS (ver 3.66.1,Linacre, 2004). The followings are the summary of the major findings;(1) All of 19 teachers were not founded as overfiting rater or misfiting rater, but they rated the summary text leniently. (2) rasch model revealed several recurring bias patterns among rater subgroups. In rater–category bias interactions, Some raters also rated more severely and more leniently than expected in expression and grammar. (3)the 7 rating scale seems to be unreasonable as a method to define the summarization ability by the result of logit number distributions of each category, as the intervals of the categories.

참고자료

· 없음