RAG 시스템 성능 평가를 위한 자동 데이터 셋 생성 프레임워크 비교 분석 연구 (Comparative Analysis Study on Automated Dataset Generation Frameworks for RAG System Performance Evaluation)

서지정보

· 발행기관 : 한국정보전자통신기술학회
· 수록지 정보 : 한국정보전자통신기술학회 논문지 / 18권 / 2호 / 143 ~ 154페이지
· 저자명 : 김범석, 양진홍

초록

본 논문은 최근 주목받고 있는 검색 증강 생성(RAG) 시스템의 성능 평가를 위한 테스트 데이터셋 생성 방법을 비교 분석하였다. 대규모 언어 모델(LLM)의 한계를 극복하는 RAG 기술의 필요성과 중요성을 설명하고, 수동 생성 방식과 LLM을 활용한 자동 생성 방식의 특징과 장단점을 정리하였다. 또한 자동화된 데이터셋 구축 프레임워크 중 RAGAS, AutoRAG, DeepEval을 선정하여 의료,금융,법률 문서를 입력으로 각각 100개의 질문-답변 세트를 생성한 후 정확성을 평가하였다. 평가 결과, AutoRAG가 한국어 문장 표현의 자연성과 컨텍스트 기반의 정확성 측면에서 가장 뛰어난 성능을 보였으며, RAGAS는 문서 처리 과정에서 불필요한 정보 포함 등의 오류가 많았고, DeepEval은 한국어 지원 부족으로 인해 성능이 상대적으로 낮았다. 향후 연구에서는 LLM을 활용하여 사용자의 의도와 컨텍스트를 더욱 정확히 반영하는 고급 프롬프팅 기법과 자동화된 데이터 품질 평가 및 개선 전략을 중점적으로 탐색할 계획이다.

영어초록

This paper conducts a comparative analysis of test dataset generation methods for evaluating the performance of Retrieval-Augmented Generation (RAG) systems, which have recently gained significant attention. It explains the necessity and importance of RAG technology in overcoming the limitations of large language models (LLMs) and summarizes the characteristics, advantages, and disadvantages of manually created datasets versus LLM-based automatic generation methods. Among automated dataset construction frameworks, RAGAS, AutoRAG, and DeepEval were selected, and for each, 100 question–answer pairs were generated using documents from the medical, financial, and legal domains. The accuracy of the generated datasets was then evaluated. The results showed that AutoRAG demonstrated the best performance in terms of natural Korean language expression and context-based accuracy. In contrast, RAGAS frequently included unnecessary information during document processing, and DeepEval showed relatively lower performance due to insufficient Korean language support. Future research will focus on developing advanced prompting techniques that more accurately reflect user intent and context, as well as exploring strategies for automated dataset quality evaluation and improvement.

참고자료

· 없음