언어모델은 언어표현을 유연하게 처리하는가? - 재난문자를 활용한 평가 - (Do Language Models Flexibly Process the Language Expressions? - Using the disaster messages -)

서지정보

· 발행기관 : 연세대학교 언어정보연구원
· 수록지 정보 : 언어사실과 관점 / 62권 / 229 ~ 255페이지
· 저자명 : 이예빈, 송상헌

초록

이 연구는 사람이 비적형 문장(non-fully well-formed sentence)을 처리할 때 보이는 유연성(flexibility)을 언어모델에서도 관찰할 수 있는지를 분석하였다. 언어모델이 사람과 같은 수준의 언어 능력을 갖추었는지 평가하기 위해서는 비적형 문장과 같이 유연성을 요구하는 벤치마크의 도입이 필요하다. 이를 위해, 재난문자를 기반으로 적형문과 비적형문 쌍으로 구성된 542개의 데이터세트를 구축하였다. 언어모델의 평가 방식은 이해와 생성의 두 가지 방식으로 진행되었으며, 각각의 과업에 특화된 언어모델을 선정하였다. 이해 실험은 5종의 인코더 기반 언어모델(KLUE-RoBERTa, KoBERT, KR-BERT, mBERT, KoELECTRA)에 자연어 추론(Natural Language Inference) 과업을 적용하였다. 생성 실험은 디코더 기반 언어모델(ChatGPT-4)이 생성한 전보문에 대해 설문조사를 진행하였다. 실험 결과, 인코더 기반 언어모델은 비적형 문장을 처리하는 과정에서 일관되지 않은 결과를 나타냈고 디코더 기반 언어모델이 작성한 전보문은 사람이 작성한 전보문과 큰 차이를 보이지 않았다.

영어초록

This study investigates whether Korean language models can flexibly process non-fully well-formed sentences as they do fully well-formed sentences. For this purpose, we constructed a dataset of well-formed and telegraphic sentence pairs using disaster messages. We conducted two experiments utilizing this data: one with an understanding task on five encoder-based models (KLUE-RoBERTa, KoBERT, KR-BERT, mBERT, KoELECTRA) and the other with a generation task on a decoder-based model (ChatGPT-4). The results of the experiments revealed that language models show inconsistent performance in understanding and exhibit illogical patterns in generation, highlighting a gap between human language competence and language model's performance. Based on these findings, we propose the importance of robustness in language model evaluation methods and emphasize incorporating qualitative assessments to better reflect the complexity of human language. This study suggests that there remain significant challenges for language models to more accurately mimic human understanding and generation.

참고자료

· 없음