임베딩 기법을 활용한 한국어 학습자 쓰기 자동채점을 위한 자질 연구 (A Study on Embedding-Based Features for Automatic Scoring of Korean Language Learners' Writing)

서지정보

· 발행기관 : 연세대학교 언어정보연구원
· 수록지 정보 : 언어사실과 관점 / 64권 / 31 ~ 64페이지
· 저자명 : 이진

초록

이 연구는 임베딩(embedding) 기법을 활용하여 한국어 학습자 쓰기 자동채점을 위한 자질(feature)을 추출하고 자질의 타당성을 검증하는 데 목적이 있다. 초기 자동채점 연구는 얕은(shallow) 수준의 자질을 활용한 머신러닝 기반 접근법을 주로 활용하였으나, 이러한 자질은 작문의 의미를 충분히 반영하지 못한다는 한계가 있었다. 이어 등장한 딥러닝 기반 접근법은 자동채점의 성능을 크게 향상시켰으나 모델 판단을 해석하기 어렵다는 한계가 또한 지적되었다. 이에 본 연구는 사전학습 기반의 딥러닝 모델을 활용한 임베딩으로 평가 작문과 고득점 작문 사이의 유사도를 산출하였고 고득점 작문과의 유사도가 작문 점수에 미치는 영향을 통계적 방법을 통해 확인하였다. 이로써 자질 설계(feature engineering)와 딥러닝 알고리듬의 장점을 모두 취하는 하이브리드(hybrid) 모델의 적용 가능성을 확인하고자 하였다. 연구 결과, 정적(static) 임베딩보다 문맥 기반(Contextualized) 임베딩을 활용한 고득점 작문과의 유사도가 상관분석에서 작문 점수와 더 높은 상관을 보였고, 회귀분석에서도 더 높은 설명력이 나타났다. 특히, 문장 임베딩인 Sentence-BERT를 활용한 고득점 작문과의 유사도는 작문 점수와 강한 상관관계( =.651)를 보였으며 회귀분석에서도 42.4%의 설명력을 나타냈다. 이를 통해 임베딩 자질이 한국어 학습자 쓰기 자동채점의 채점 자질로서 주요하게 활용될 수 있음을 확인하였다.

영어초록

This study employs embedding techniques to extract features for the automated scoring of Korean language learners' writing and verifies their validity. Early automatic scoring studies mainly used machine learning-based approaches with shallow features, but these approaches had limitations in fully reflecting the complex meaning of the text. On the other hand, deep learning-based approaches significantly improved the performance of automatic scoring; however, they suffered from low interpretability.
To address these limitations, this study employed embeddings generated from pre-trained deep learning models to compute the similarity between learner essays and high-scoring essays. The impact of this similarity on essay scores was then examined through statistical analyses. By doing so, this study sought to explore the feasibility of a hybrid model that leverages both feature engineering and deep learning algorithms, thereby integrating the strengths of both approaches.
The results showed that contextualized embedding techniques had stronger correlations with writing scores in correlation analysis compared to static word embedding techniques and also demonstrated higher explanatory power in regression analysis. In particular, the sentence embedding model Sentence-BERT (SBERT) demonstrated the best performance, exhibiting a strong correlation with writing scores and achieving a high explanatory power of 42.4% in the regression analysis. This confirms that similarity to high-scoring essays, based on sentence embeddings, can be a key feature for the automatic scoring of Korean language learners' writing.

참고자료

· 없음