ChatGPT의 한국어 능력 평가에 대한 연구 - 한국어능력시험 읽기 영역 및 관용구를 중심으로 - (A Study on the Assessment of Korean Language Proficiency of ChatGPT - Focusing on the Reading Section of TOPIK and Idioms -)

서지정보

· 발행기관 : 연세대학교 언어정보연구원
· 수록지 정보 : 언어사실과 관점 / 59권 / 279 ~ 308페이지
· 저자명 : 백미경

초록

이 연구의 목적은 한국어능력시험(TOPIK) 읽기 영역 및 관용구의 의미 분석을 통해 ChatGPT의 한국어 능력 수준을 밝히고 ChatGPT를 한국어 교육에 활용할 수 있는가에 대해 검증해 보는 것이다. 이를 위해 한국어능력시험(TOPIK) 읽기 영역 기출문제를 ChatGPT가 풀도록 하였으며, 초급과 중급 수준의 한국어 학습자를 위한 관용구 목록에 대해 사전적 의미와 ChatGPT가 제시한 의미를 서로 비교하였다.
ChatGPT는 읽기 영역 기출문제의 경우 몇 가지의 유형을 제외하고는 대부분 정답을 제시하였다. 이와는 다르게 관용구의 의미 분석에 대해서는 초급과 중급 수준의 관용구임에도 불구하고 사전적 의미와 동일하게 제시되는 비율이 약 56%에 불과하였다. 이러한 분석을 통해 ChatGPT에서 나타나는 오류의 유형과 ChatGPT를 활용할 때 유의해야 할 사항들에 대해 파악할 수 있었다. 한국어 관용구의 교육을 위하여 ChatGPT를 사용할 경우 ChatGPT가 해당 표현의 의미를 올바르게 인지하고 있는지에 대한 확인이 반드시 필요하며, 교육 목적에 부합하는 자세한 프롬프트의 작성을 통해 ChatGPT가 한국어 교육을 위한 교육 자료로 활용될 수 있다는 것을 확인할 수 있었다.

영어초록

The purpose of this study is to examine the level of Korean language proficiency of ChatGPT by analyzing the reading section of TOPIK and meaning of idioms to verify whether ChatGPT can be utilized for Korean language education. To accomplish this objective, ChatGPT was asked to solve reading questions of TOPIK. Additionally, a comparison was made between the dictionary meaning and the meaning provided by ChatGPT for a list of idioms designed for beginner and intermediate level of Korean language learners.
In terms of the reading section, ChatGPT demonstrated a high accuracy rate in providing correct answers for the majority of question types, except for a few specific types. In contrast, regarding the semantic analysis of idioms, despite being designed for beginner and intermediate levels of Korean language education, ChatGPT exhibited a relatively low correspondence of approximately 56% between the meanings provided and the dictionary meanings. Through this analysis, it was possible to identify the types of errors exhibited by ChatGPT and the important considerations to be mindful of when utilizing ChatGPT. When using ChatGPT for the education of Korean idioms, it is essential to verify whether ChatGPT correctly understands the meanings of the idioms. Through the development of detailed prompts that align with educational objectives, it was possible to confirm that ChatGPT can be utilized as educational material for Korean language education.

참고자료

· 없음