sLM을 이용한 실시간 번역 성능 평가 (Performance Evaluation using sLM for Realtime Translation)

서지정보

· 발행기관 : 한국정보통신학회
· 수록지 정보 : 한국정보통신학회논문지 / 29권 / 5호 / 615 ~ 625페이지
· 저자명 : 김성진, 염수형, 강석훈

초록

미세조정된 거대언어모델(LLM)은 최근 고수준의 번역 기능을 제공하고 있다. 하지만 LLM 번역은 잘못된 번역을 생성할 가능성이 있다. 이런 문제를 실시간으로 찾아내기 위해서는 참조 문헌 없이도 입력에 대한 번역의 결과를 평가하는 방법이 필요하다. 하지만 번역 품질 평가에 많이 활용되고 있는 규칙 기반 메트릭은 참조 번역문의 제공을 전제로 평가가 진행되어, 실시간 품질 평가에는 사용되기 힘들고, LLM을 이용해 번역 결과에 대한 품질을 평가하는 방법은 정밀한 평가는 제공하기 어렵기 때문에 성능 보장에 한계가 있다. 따라서 본 논문에서는 sLM과 규칙 기반 메트릭을 조합한 실시간 번역 품질 평가 방법을 제안한다. 규칙 기반 LLM이 바로 평가 결과를 요청하는 대신에, 가상 참조 번역문만 생성하게 하고 규칙 기반 메트릭으로 최종적으로 평가하여 각각의 한계를 극복할 수 있다. 본 논문에서 제안한 방식을 통해 BLEU의 경우 40%, METEOR의 경우는 85%까지 유사도가 상승함을 보였다.

영어초록

Fine-tuned Large Language Models (LLMs) have recently demonstrated advanced translation capabilities. However, LLM translations often face the issue of generating inaccurate translations. To identify such issues in real time, a method is required to evaluate the translation output for a given input without relying on reference documents. Despite their widespread use in translation quality evaluation, rule-based metrics are difficult to apply for real-time quality assessment because they assume the availability of reference translations. Similarly, methods that evaluate translation quality using LLMs often fail to provide precise assessments, leading to limitations in performance guarantees. To address these challenges, this paper proposes a real-time translation quality evaluation method that combines sLM with rule-based metrics. Instead of directly requesting evaluation results from rule-based LLMs, the proposed approach generates virtual reference translations and uses rule-based metrics for final evaluation, overcoming the limitations of each method. This study demonstrates that the proposed approach increases similarity by 40% for BLEU and 85% for METEOR.

참고자료

· 없음