머신러닝과 딥러닝 언어모델을 활용한 한국어 학습자 작문의 주제 자동 분류 연구 (A Study on Automatic Topic Classification of Korean Language Learners’ Essays Using Machine Learning and Deep Learning Language Models)

서지정보

· 발행기관 : 이중언어학회
· 수록지 정보 : 이중언어학 / 96호 / 163 ~ 192페이지
· 저자명 : 이진, 김한샘

초록

본 연구의 목적은 머신러닝과 딥러닝 언어모델을 활용하여 한국어 학습자 쓰기의 주제를 자동으로 분류할 수 있을지 그 가능성을 탐색해 보는 데 있다. 머신러닝 기반의 언어모델인 랜덤 포레스트를 기준 모델로 삼아 딥러닝 기반의 언어모델의 한국어 학습자 쓰기 주제 분류 성능을 평가해 보았는데 머신러닝 기반의 언어모델인 랜덤 포레스트의 경우 정확도가 약 96.5%로 나타났다. 반면에 딥러닝 기반의 언어모델인 KoBERT의 정확도는 약 64.25%로 랜덤 포레스트에 비해 훨씬 낮은 정확도를 보였으며 KoELECTRA의 정확도는 약 97.25%로 랜덤 포레스트와 비교해 약간 높은 정확도를 보였다. 3가지 모델 간의 주제 예측 결과를 비교해 본 결과 KoBERT의 경우, 낮은 정확도에서도 알 수 있듯이 인간의 직관으로 이해가 어려운 예측 결과를 보였고 나머지 두 모델이 정확히 주제를 예측한 작문에 대해서도 예측을 실패한 사례가 나타났다. 랜덤 포레스트와 KoELECTRA의 경우에는 예측 오류 양상에 있어서 비슷한 양상을 보였는데 두 알고리듬 간의 성능 차이는 크지 않았다. 3가지 알고리듬에서 공통적으로 나타난 예측 오류 양상은 주제에 특화된 어휘가 주로 사용되는 작문이 아닌 일반적으로 흔히 쓰이는 어휘가 주로 사용되는 작문의 경우에 주제 판별 성능이 떨어진다는 점이다. 또한, 작문의 일부 내용이 다른 주제의 내용을 포함하고 있을 때 주제 예측에 실패하는 사례들이 많이 나타났다. 이러한 한계점을 극복하기 위해서는 다양한 장르의 작문을 세부적으로 분석할 필요가 있으며 기존 구축된 학습자의 작문을 활용하는 방법론 외에 다양한 방법론에 대한 실험이 지속되어야 할 것이다.

영어초록

The purpose of this study is to explore the possibility of automatically classifying the topics of Korean language learners’ writings using machine learning and deep learning. The Random Forest model, serving as a baseline, achieved an accuracy of 96.5%.
In contrast, compared to the baseline, the deep learning model KoBERT showed lower accuracy at 64.25%, while KoELECTRA slightly outperformed the baseline with 97.25% accuracy. When comparing the topic prediction results of the three models, KoBERT demonstrated prediction outcomes that deviated from human intuition, failing to accurately predict topics that were correctly identified by the other two models, as evidenced by its low accuracy. The Random Forest and KoELECTRA exhibited similar tendencies in terms of error patterns, with no significant difference in performance between the two algorithms. Common prediction errors across the three algorithms included difficulties in classifying writings that used general vocabulary instead of topic-specific terms. Additionally, the models often failed to predict the topic accurately when the content included vocabulary related to other topics. To improve performance, a detailed analysis of various writing genres and continuous experimentation using new data and methodologies are necessary

참고자료

· 없음