한국어 쓰기 피드백을 위한 ChatGPT의 활용 가능성 연구 (Exploring the Potential of ChatGPT for Korean Writing Feedback)

서지정보

· 발행기관 : 한국국어교육학회
· 수록지 정보 : 새국어교육 / 142호 / 527 ~ 562페이지
· 저자명 : 이선빈

초록

목적: ChatGPT와 교수자가 생성한 피드백의 양상을 비교 분석하여, ChatGPT가 한국어 쓰기 피드백의 도구로써 지닌 가능성과 활용 방안을 모색하는 데 목적이 있다. 방법: 학문 목적 학습자가 작성한 정보 전달 글 19편, 의견 쓰기 글 18편을 대상으로 ChatGPT와 교수자 3인이 분석적 평가와 총체적 평가의 피드백을 실시하였다. 결과: 첫째, ChatGPT가 반복 채점을 수행한 결과 높은 채점자 내 신뢰도(ICC)를 확인할 수 있었으며, 경력 10년 이상의 교수자와 ChatGPT의 채점자 간 신뢰도(IRR)도 양호하게 나타났다. 둘째, 정보 전달 글과 의견 쓰기 글 모두 인간 채점자에 비해 ChatGPT의 분석적 평가 점수가 더 높았다. 정보 전달 글에서는 ‘내용 및 과제 수행, 인용 및 참고문헌’에서, 의견 쓰기 글에서는 ‘내용 및 과제 수행’, ‘언어사용’에서 ChatGPT와 채점자 간 통계적으로 유의한 차가 나타났다. 셋째, 총체적 평가의 경우 ChatGPT가 전형적인 표현을 사용하여 다소 모호한 피드백을 제시한 반면, 채점자는 학습자의 글쓰기 수준을 진단한 후 구체적이고 명시적인 피드백을 제시하였다. 결론: ChatGPT를 1차 피드백의 보조적 수단으로 활용할 때, 교수자의 한국어 쓰기 피드백의 효용성과 효율성을 높일 수 있을 것으로 보인다.

영어초록

Purpose: The purpose of this study is to compare and analyze the feedback generated by ChatGPT and instructors, seeking to explore ChatGPT’s potential and applications as a tool for Korean writing feedback. Methods: Nineteen informational texts and eighteen opinion-based texts written by academic-purpose learners were evaluated using both analytic and holistic feedback by three instructors and ChatGPT. Results: First, ChatGPT demonstrated high intra-rater reliability (ICC) through repeated evaluations, and also showed satisfactory inter-rater reliability (IRR) with an instructor having over ten years of experience. Second, ChatGPT assigned higher analytic scores than human raters for both text types. Specifically, significant differences were found in “content and task fulfillment” and “citations and references” for informational texts, and in “content and task fulfillment” and “language use” for opinion-based texts. Third, in holistic feedback, ChatGPT tended to provide generic comments, while instructors offered more specific guidance tailored to the learners’ writing levels. Conclusion: As an auxiliary tool for first-stage feedback, ChatGPT can enhance both the effectiveness and efficiency of Korean writing feedback.

참고자료

· 없음