ChatGPT의 국어 문법 개념 이해도 평가 - 의미 유사도 분석을 통한 교육적 활용 가능성 탐색 - (An Evaluation of ChatGPT’s Understand of Korean Grammar Concepts -Exploring Its Educational Potential through Semantic Similarity Analysis-)

서지정보

· 발행기관 : 청람어문교육학회
· 수록지 정보 : 청람어문교육 / 103호 / 309 ~ 336페이지
· 저자명 : 박종미

초록

본 연구는 ChatGPT 4o가 국어 문법 용어의 개념을 얼마나 정확하게 이해하고 있는지를 평가하고, 이를 통해 국어 문법 교육에서의 ChatGPT 활용 가능성을 탐색하는 것을 목적으로 하였다.
이를 위해 2019년에 발행된 ‘언어와 매체’ 교과서 5종에서 394개의 문법 용어를 선정하였으며, 각 용어에 대한 ChatGPT의 정의와 표준국어대사전의 정의를 비교하였다.
KoBERT를 이용한 의미 유사도 분석 결과, 평균 유사도 값은 0.86으로 나타나, ChatGPT가 국어 문법 용어를 상당히 정확하게 이해하고 있음을 확인하였다. 또한, 단원별 의미 유사도 분석에서도 모든 단원에서 높은 유사도가 나타나, ChatGPT가 국어 문법 교육에서 학습 보조 도구로 활용될 수 있는 잠재력을 보여주었다.
다만, ChatGPT의 응답이 프롬프트에 따라 다소 변동될 수 있고, 새로운 모델이 출시될 때 응답 내용이 달라질 수 있으며 잘못된 정보를 제공할 수 있다는 점이 이 연구의 한계점이다.

영어초록

This study aims to evaluate how accurately ChatGPT 4o understands the concepts of Korean grammar terms and to explore its potential for use in Korean grammar education. To this end, 394 grammatical terms were selected from five "Language and Media" textbooks published in 2019, and ChatGPT's definitions were compared with those from the Standard Korean Dictionary. The results of the semantic similarity analysis using KoBERT revealed an average similarity score of 0.86, indicating that ChatGPT has a considerable understanding of Korean grammar terms. In addition, the analysis of semantic similarity by textbook chapter showed high similarity scores across all chapters, suggesting that ChatGPT has the potential to be used as an educational support tool in Korean grammar education. However, a limitation of this study is that ChatGPT's responses may vary depending on the prompt, and the content of its responses may change with the release of new models.

참고자료

· 없음