인공지능 기반 쓰기 평가 도구와글쓰기 평가자의 비교 연구 -독후감 텍스트를 중심으로- (A Comparative Study of AI-Based Writing Assessment Tools and Human Evaluators - Focusing on book report texts -)

서지정보

· 발행기관 : 국제어문학회
· 수록지 정보 : 국제어문 / 102호 / 681 ~ 705페이지
· 저자명 : 차준우, 최서희, 이기성

초록

본 연구는 인공지능을 활용한 글쓰기 평가 프로그램이 교사를 대신하여 교육현장에서 쓰기 평가 도구로 활용할 수 있는지에 관한 가능성을 알아보고, 인공지능을 활용하여 쓰기 평가를 위해 필요한 채점 기준을 찾아보는 데 목적이 있다.
이를 위하여 독후감 경연대회에 출품한 854편의 독후감을 대상으로 자동 채점도구 KEEwi를 사용하여, 6가지 평가 기준과 최종적인 종합 점수로 글쓰기를 평가하였다. 평가 후 각 항목 간 관계성 확인을 위해 상관 행렬을 확인하였다.
분석 결과 인공지능 평가의 종합점수 분포가 종형 곡선(bell curve)의 정규분포를 따르는 것으로 나타나 인공지능의 글쓰기 평가능력이 평가 항목에 따라 자체적으로 합리성을 갖추고 있는 것을 알 수 있었다. 그러나 심사위원이 좋은 글로 평가한 ‘수상작’을 비교한 결과 인공지능 평가와 일치하지는 않았다. 하지만인간이 평가한 수상작의 77%가 인공지능 평가 점수의 중간값을 기준으로 오른쪽 구간에서 더 많이 나타나 전체적인 쓰기 평가 경향을 살펴볼 때 인공지능과인간 평가에 유사성이 있는 것으로 파악되었다.
이와 같은 분석 결과를 통해 인공지능 자동 채점을 위해 필요한 교육적 논의로 장르적 특성을 고려한 평가 기준 마련과 학습자 수준 등 변인에 따른 쓰기평가 기준이 개발의 필요성을 들었다. 글쓰기 평가자와 인공지능 쓰기 평가 도구를 비교하여 그 결과를 분석했다는 데 그 의의가 있다.

영어초록

This study aimed to investigate the feasibility of a writingassessment program using generative AI to replace writing assessmentby teachers in educational settings and to identify the necessary scoringcriteria for writing assessment using generative AI. To this end, 854book reports submitted to a book report contest were evaluated usingKEEwi, an automated scoring tool, to assess writing based on sixevaluation criteria and a final composite score. After the evaluation, acorrelation matrix was calculated to see the relationship between eachitem.
The analysis revealed that the overall score distribution of AIevaluations followed a normal distribution and; formed a bell-shapedcurve. This indicates that AI writing assessment capabilities possessinherent rationality across different evaluation criteria. However, 77%of the winning entries evaluated by humans were more frequentlyfound in the right segment than in the median of the AI evaluationscores, suggesting a similarity between AI and human evaluations inoverall writing assessment trends. These results indicated, a need foreducational discussions to establish evaluation criteria considering genrecharacteristics and develop writing assessment standards based on variables such as learner levels for AI- automated scoring. Thesignificance of this study lies in the comparison and analysis of theresults between human evaluators and AI writing assessment tools.

참고자료

· 없음