KoSentEval: 한국어 문장 임베딩 평가 연구 (KoSentEval: A Study of Korean Sentence Embedding Evaluation)

서지정보

· 발행기관 : 한국지능정보시스템학회
· 수록지 정보 : 지능정보연구 / 30권 / 1호 / 179 ~ 199페이지
· 저자명 : 정민화, 송민

초록

최근 다량의 텍스트 데이터를 하나의 밀집 벡터로 압축하는 벡터 데이터베이스가 주목받으며 언어의 의미적/통사적 정보를 통합한 전역적인 문장 임베딩을 개발하고 이를 평가할 수 있는 체계를 구축하려는 노력이 이어지고 있다. 영어연구에 서는 문장 임베딩을 평가할 수 있는 SentEval라이브러리가 개발되어 폴란드어, 러시아어 등으로 확산되고 있지만 한국어 연구에서는 데이터 공개 관련 문제로 인해 연구 및 상업적인 활용이 어렵다는 한계가 있다. 본 논문에서는 이러한 한계를 극복하기 위해 KoSentEval을 공개 및 배포한다. KoSentEval은 한국어 문장 임베딩을 평가하기 위한 오픈소스 라이브러리로, 2개의 하위 태스크와 8개의 프로빙 태스크로 구성되어 임베딩의 표층적, 통사적, 의미적 속성을 검증할 수 있다. 또한, 다국어, 한국어, 대조학습 기반 문장 인코더를 적용한 결과를 비교 및 분석하였다. 본 연구는 한국어 문장 임베딩 품질의 측정뿐만 아니라, 다양한 문장 인코더가 한국어의 언어적 특성을 얼마나 잘 담고 있는지를 검증하는 데 의의가 있다.

영어초록

Recently, efforts have focused on developing vector databases to compress large volumes of text data into a single dense vector, aiming to create global sentence embeddings that integrate semantic and syntactic information. In English research, the development of the SentEval library has enabled the evaluation of sentence embeddings, leading to its widespread adoption in languages such as Polish and Russian. However, in Korean research, there is a limitation due to challenges related to data availability, making it difficult for both academic research and commercial applications. To overcome this limitation, this paper introduces and releases KoSentEval. KoSentEval is an open-source library designed for evaluating Korean sentence embeddings, comprising two sub-tasks and eight probing tasks that validate the surface, syntactic, and semantic attributes of embeddings. Additionally, we conduct a comparative analysis of results obtained using multilingual, Korean-specific, and contrastive learning-based sentence encoders. This research not only contributes to measuring the quality of Korean sentence embeddings but also validates how well various sentence encoders capture the linguistic characteristics of the Korean language.

참고자료

· 없음