AI 번역 엔진 성능 평가 -한국어 아랍어 의료대화를 중심으로- (Errors and Performance Evaluation of AI Translation Engines for the Korean-Arabic Language Pair in Medical Communication Translation)

서지정보

· 발행기관 : 한국이슬람학회
· 수록지 정보 : 한국이슬람학회논총 / 35권 / 1호 / 233 ~ 258페이지
· 저자명 : 안희연, 홍서연

초록

본 연구는 한-아 언어쌍에서 의료 담화를 중심으로 AI 번역 엔진(Papago, Google Translate, ChatGPT)의 성능을 평가하였다. 의료진과 환자 간의 의료 의사소통 문장 156개를 정량적 및 정성적으로 분석하였다. 정량적 분석 결과, Papago는 68건의 오류를 기록하며 세 번역 엔진 중 가장 많은 오류를 보였고, Google Translate와 ChatGPT는 각각 32건과 20건의 오류를 기록하였다. 정성적 분석에서는 Papago와 Google Translate가 대체(substitution) 및 편집(editorialization)에서 상당한 문제를 드러냈다. 반면, ChatGPT는 심각하지 않은 정도의 오류, 특히 편집과 대체 오류가 드물게 나타났으며 내용 전달에 미치는 영향은 낮았다. 특히 ChatGPT는 전반적으로 우수한 성능을 보여, 일반적인 의료 안내와 상담에서 효과적인 의사소통 도구로 활용될 가능성을 시사한다.

영어초록

This study evaluates the performance of AI translation engines—Papago, Google Translate, and ChatGPT—for the Korean-Arabic language pair, focusing on their applicability in general medical conversation. A total of 156 medical conversation sentences between healthcare providers and patients were analyzed using both quantitative and qualitative methods. The quantitative analysis demonstrates that Papago exhibited 68 errors, the highest among the three engines, while Google Translate and ChatGPT recorded 32 and 20 errors, respectively. Qualitative analysis revealed that Papago and Google Translate encountered significant issues in substitution and editorialization. In contrast, ChatGPT exhibited a lower degree of arbitrariness, with editorialization and substitution errors that minimally impacted the overall conveyance of the intended content. Notably, ChatGPT exposed superior overall performance, suggesting its potential as an effective tool for general medical guidance and consultation.

참고자료

· 없음