한-노 기계 번역, 어디까지 왔나?:Google과 Papago 번역 성능 비교를 기반으로 (Current State of Korean-Russian Machine Translation: Based on the comparison of translation performances between Google and Papago)

서지정보

· 발행기관 : 한국노어노문학회
· 수록지 정보 : 노어노문학 / 32권 / 3호 / 63 ~ 94페이지
· 저자명 : 한현희

초록

본 연구는 한-노 기계번역의 성능 현황을 점검하고, 품질 저하의 원인을 찾아 개선 및 활용 방안을 모색하는 것을 목적으로 한다. 이를 위해 매뉴얼과 기사문에 대한 구글과 파파고의 한-노 번역 결과물을 비교 분석하였으며, 결과는 다음과 같다.
1) 자동평가 결과 기계 번역문의 품질이 매우 낮았다. 구글과 파파고 모두 매뉴얼의 번역 수준이 높았으나, 구글이 파파고보다 성능이 우세한 것으로 드러났다. 2) 인간 평가 결과 구글이 파파고에 비해 성능이 월등하게 높았으며, 특히 매뉴얼에서 품질 편차가 크게 드러났다. 3) 매뉴얼에서 구글이 파파고에 비해 오류 비중이 낮았으나, 기사문에서는 큰 차이가 드러나지 않았다. 구글과 파파고의 주요 오류 유형은 맥락, 고유명사, 일반 어휘의 오류였다. 4) 원문의 문장 길이와 기계번역문의 품질이 반비례함을 확인하였다.
이상의 분석 결과가 시사하는 바는 다음과 같다.
1) 한-노 기계번역의 수준 상 구글을 활용한 매뉴얼 텍스트에 대한 활용 가능성이 높다. 2) 파파고를 사용할 경우 안정적인 번역 산출을 위해서 한국어 원문을 단순하고 간결하게 교정하는 프리에디팅 작업이 필요하다.　3）구글은 한국 문화 관련 병렬데이터 확보가 필요하며, 파파고는 한국 문화에 대한 번역 성능을 특화시킬 필요가 있다.　４）기계번역 성능에 대한 평가는 자동평가와 인간평가가 병행되어야 하며, 평가 방식의 다양성 확보와 지속적인 검증이 필요하다.

영어초록

This research aims to take a review of the current status of the development of Korean-Russian Machine translation. It also attempts to reveal its possible problems that could lower the translation performance and suggest the solutions for them. For this purpose, it compares the outcomes of Korean-Russian translations of news articles and manual documents done by Google and Papago. The following results are discovered.
1) The result of the machine-evaluation shows very low qualities of translated sentences. The translations of manual documents have better qualities in both cases of Google and Papago, but google shows a better performance than Papago. 2) According to the human-evaluation, the quality of machine translation done by Google turns out to be much better than that of Papago, and the difference in their performances is much greater in the translations of manual documents. 3)　Google translations contain fewer errors than Papago’s in the case of manual documents while no significant difference in error rate in the case of news article translations. The major types of errors produced by both are involved with their translatability of contexts, proper nouns, and ordinary lexicons. 4)　There is an inverse proportional relationship between the lengths of source text and the qualities of machine translations.
From the above findings, the following implications could be derived.
1) The Korean-Russian machine translations of manual documents done by Google have higher usefulness. 2) To draw a reliable outcome from Papago, the Korean source texts should be pre-edited to make them simple and concise prior to using them as the inputs for Papago. 3) Google needs to collect more parallel data about Korean culture while Papago needs to specialize more in Korean culture. 4) Both machine- and human-evaluation methods should be employed together for assessing the performance of machine translation.

참고자료

· 없음