에세이 평가 자동화를 위한대조 학습 기반 다중계층 BERT 모델 손실함수에 관한 연구 (Empirical Study on the Loss Functions of Contrastive Learning-based Multi-scale BERT model for Automated Essay Scoring)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 21권 / 9호 / 51 ~ 63페이지
· 저자명 : 한상우, 유대곤, 온병원, 이인규

초록

에세이 작성은 학생들의 종합적 학습성과를 평가하기에 가장 유용한 방법으로 다양한 분야에서 사용되고 있다. 하지만 에세이 평가는 많은 시간이 소요되고 주관적인 경향이 있어서 사용이 제한적이다. 이를 극복하고자 에세이 평가 자동화에 관한 많은 연구가 진행되었지만, 현실적으로 사용할 수 있는 수준의 성능을 보이지 못하고 있다. 본 논문에서는 에세이 평가 자동화 시스템의 성능을 개선하기 위하여 현재 에세이 평가에서 가장 좋은 성능을 보이는 다중계층 BERT 모델의 평균제곱오차, 유사도, 순위 손실함수에 대조 학습 기반의 손실함수를 새롭게 추가하고, 손실함수 간의 성능을 비교한다. 에세이 평가에서 많이 사용되는 ASAP 데이터 세트를 이용하여 평가한 결과에 따르면, 대조 학습 기반 다중계층 BERT 모델은 기존의 BERT 모델보다 손실함수에 따라서 QWK는 3~4%, Pearson은 3~5% 향상되었다.

영어초록

Essay writing is the most populary used method to evaluate students achievement in the class. However, the usage of essay writing is limited by the labor intensive and subjective nature of the essay scoring process. To overcome the latter, many researches have been done to automate essay scoring process. However, the performance of automated essay scoring is not suitable in practical usage. In this paper, we are proposing a contrastive learning-based Multi-scale BERT model to improve the performance of automated essay scoring. We applied many different loss functions to generate the positive and negative samples for contrastive learning, and experimented with ASAP benchmark dataset. According to our experiments, the constrastive learning based Multi-scale BERT model shows 3% improvement in QWK, and 4.5% improvement in Pearson according to the loss functions.

참고자료

· 없음