임베딩 모델을 통한 문장의 의미 및 구조적 유사성 비교 평가 (Evaluation of Semantic and Structural Similarity of Sentences Using Embedding Models)

서지정보

· 발행기관 : 한국IT정책경영학회
· 수록지 정보 : 한국IT정책경영학회 논문지 / 16권 / 4호 / 3701 ~ 3709페이지
· 저자명 : 강한훈, 정종균, 장진희

초록

본 논문은 검색 증강 생성(Retrieval-Augmented Generation)에서 활용되는 임베딩 모델의 중요성에 주목하여, 유사도 계산에 영향을 미치는 요인을 분석하였다. 임베딩 모델은 유사한 문장을 찾기 위해 텍스트를 실수 값의 벡터로 변환하고, 벡터 값을 기반으로 코사인 거리 값을 계산하여 그 결과에 따라 유사성을 결정 짓는다. 그러나, 해당 유사도 값이 문장의 의미적 유사도 외에도 다르게 해석할 수 있는 요인이 있어, 이를 찾아 분석하였다. 공개된 다양한 임베딩 모델을 대상으로 실험한 결과, 일부 모델은 문장의 구조적 유사성을 기준으로 유사도를 판단하는 경향이 있었으며, 동음이의어가 포함된 문장에서는 대부분의 모델이 정확한 유사도 평가를 하지 못하는 경우도 있었다. 본 연구는 모델별 성능 차이를 분석하고, 특정 목적에 적합한 임베딩 모델을 선택하는 방향성을 제시함으로써 RAG의 성능 개선에 기여할 수 있음을 보여준다.

영어초록

This paper focuses on the importance of embedding models used in Retrieval-Augmented Generation (RAG) and analyzes factors that influence similarity calculations. Embedding models convert text into real-valued vectors to identify similar sentences, with cosine distance being calculated based on these vectors to determine similarity. However, this similarity score can be influenced by factors other than semantic similarity. In this study, we analyze these factors. Experimental results with various publicly available embedding models reveal that some models tend to assess similarity based on sentence structure. Furthermore, most models struggle to accurately evaluate similarity when sentences contain homonyms. This study provides an analysis of performance differences between models and suggests guidelines for selecting embedding models appropriate for specific purposes, contributing to the performance enhancement of RAG systems.

참고자료

· 없음