VALUE 루브릭 활용이 대학생 글쓰기 평가에 미치는 영향 (The impact of using the VALUE rubric on improving college student writing.)

서지정보

· 발행기관 : 영주어문학회
· 수록지 정보 : 영주어문 / 54권 / 347 ~ 377페이지
· 저자명 : 김민옥

초록

본고의 목적은 VALUE 루브릭을 활용하여 대학생들의 글쓰기 능력을 평가하고 글쓰기 평가의 객관적 기준을 마련하는 하나의 방안을 제시하고자 하는 것이다. 이를 위해 AAC&U에서 개발한 VALUE 루브릭을 평가 도구로 적용하였고, 실험 집단으로 사전/사후 글쓰기를 수행한 학생 99명을 대상으로 단일집단 사전-사후 검사 설계 방식을 활용하여 연구를 진행하였다.
VALUE 루브릭 적용은 ‘과제 설계→글쓰기 루브릭 설명→과제 수행→글쓰기 루브릭 적용→결과 추출’로 구성했다. 글쓰기의 맥락과 목적, 내용 전개, 학문 분야별/주제별 관습, 자료 활용, 언어와 표현 등 5개를 평가 항목으로 설정하였으며, 4개의 캡스톤, 마일스톤1, 마일스톤2, 벤치마크 등 4개의 성취 수준을 평가 기준으로 적용하였다.
글쓰기 과정에서 루브릭을 사용하지 않은 실험 집단과 루브릭을 사용한 실험 집단이 차이를 보였다. 사전/사후 글쓰기의 성취도를 표준편차의 기술통계를 실시한 결과, 사전 검사의 평균보다 사후 검사의 평균 점수가 상승하였으며, 영역별로 어떤 변화가 있는지 대응표본 t검정을 통해 살펴본 결과도 5개 영역 모두 글쓰기 점수가 상승하여 통계적으로 유의한 결과가 나타났음을 알 수 있었다. 이는 루브릭을 적용했을 때 학생들의 글쓰기 점수가 향상된다는 점을 시사한다.
성별에 따른 사전/사후 평균 점수는 5개 영역 모두 남학생보다 여학생의 글쓰기 점수가 더 높게 상승했지만 통계적으로 유의한 결과를 나타내지는 않았다. 계열에 따른 사전/사후 평균 점수 차이를 알아보기 위해 일원배치 분산분석(One-way Anova)을 실시한 결과 F=3.315, p=0.12로 유의수준 0.05를 기준으로 통계적으로 유의하게 나타났다. 사후 조사에서 거의 모든 항목이 상승했다는 점은 학생들은 글쓰기의 조건만을 제시할 때보다 평가의 기준을 객관화시켜 제시할 때 글쓰기 실력이 더 많이 향상될 수 있음을 의미한다.
글쓰기 평가 루브릭을 적용할 때 학생들에게 루브릭의 평가 항목을 구체적으로 설명하고 과제 설계와의 관련성을 보다 명확하게 인식할 수 있도록 한다면, 학생들이 글쓰기 맥락과 목적을 분명히 이해할 수 있고, 내용을 전개하는 측면과 언어와 표현에서 다소 미흡한 점이 나타나더라도, 루브릭에서 제공한 기준에 맞춰 글을 쓰려고 노력한 흔적들이 글쓰기의 형식적인 측면에서 잘 드러났기에 평가 루브릭을 사전에 제시하는 게 유효함을 알 수 있다.
글쓰기 평가 시 VALUE 루브릭을 적용하면, 명확한 평가 기준이 제시되기에 학생들이 어떤 요소들을 고려하여 글을 써야 하는지를 알 수 있도록 하는 데 도움이 되며, 평가자의 주관성을 제거하고 객관적인 기준을 설정하므로 학생들의 글쓰기 능력을 공정하게 평가하는 데도 효과가 있음을 알 수 있다.

영어초록

The purpose of this paper is to evaluate the writing ability ofcollege students using the VALUE rubric and to propose a wayto establish an objective standard for writing evaluation. Forthis purpose, the VALUE rubric developed by AAC&U wasapplied as an evaluation tool, and 99 students who wererepeatedly enrolled in the first semester writing course and thesecond semester writing course were selected as theexperimental group, and the study was conducted using asingle-group pretest-posttest design.
The process of applying the writing assessment rubricconsisted of ‘designing a task → explaining the writing rubric →performing the task → applying the writing rubric →extracting the results’. Five assessment items were set up:context and purpose of writing, content development,discipline/topic conventions, material utilization, and languageand expression, and four achievement levels were applied asassessment criteria: capstone, milestone 1, milestone 2, andbenchmark.
The results showed a difference between the experimentalgroup that did not use the rubric and the experimental groupthat used the rubric in the writing process. The descriptive statistics of the standard deviation of the pre- and post-testwriting achievement showed that the average score of thepost-test was higher than the average of the pre-test, and thepaired-samples t-test showed that the writing score increasedin all five areas, which was statistically significant. Thissuggests that the rubric improves student’s writing scores.
The pre/post mean scores by gender showed that girl’swriting scores increased more than boy’s in all five domains,but the results were not statistically significant. A one-wayANOVA was conducted to examine the difference between preandpost-test mean scores by family, and the result wasF=3.315, p=0.12, which is statistically significant at the 0.05level of significance. The increase in almost all items on theposttest suggests that students can improve their writing skillsmore when they are given objective criteria for evaluation thanwhen they are given only the writing conditions.
When applying a writing assessment rubric, explaining therubric’s assessment items to students in detail and allowingthem to more clearly recognize its relevance to the design ofthe assignment shows the effectiveness of presenting the rubricbeforehand, as students are able to clearly understand thecontext and purpose of their writing, and even if they showsome weaknesses in terms of content development andlanguage and expression, the formal aspects of their writingshow evidence of their efforts to write to the standardsprovided by the rubric.
Applying the VALUE rubric to writing assessments helpsstudents know what factors to consider in their writing becauseit provides clear evaluation criteria, and it is also effective infairly assessing student’s writing skills because it removes the subjectivity of the evaluator and sets objective criteria.
Translated with www.DeepL.com/Translator (free version)

참고자료

· 없음