인간번역 자동평가에서 정답자와 평가자가 다르다면 (Die Applikabilität der automatischen Evaluation von Humanübersetzungen)

서지정보

· 발행기관 : 한국독일어문학회
· 수록지 정보 : 독일언어문학 / 93호 / 75 ~ 95페이지
· 저자명 : 정혜연, 명혜정, 최혜림, 허탁성

초록

번거로운 번역평가를 보다 쉽게 하기 위해 최근 기계번역에서 사용하는 자동평가 시스템 BLEU, METEOR을 인간번역 평가에 활용하려는 연구가 이루어지고 있다. 본 연구의 목적은 이 자동평가 시스템이 어느 조건에서나 사용 가능한지를 알아보고자 하는 것이다. 자동평가를 위해서는 정답번역을 제공할 사람과 자동평가의 타당성을 판단할 사람이 필요한데, 본 연구는 정댭자-평가자가 반드시 일치해야 하는가(<일치> 조건), 그렇지 않을 경우(<불일치> 조건), 그 차이는 어느 정도인가라는 질문에 대한 답을 구하고자 한다. 이를 위해 번역사 3인이 12개 독일어 원문에 대한 정답을 제공하고 같은 원문을 번역한 120개의 번역문을 평가했다. 같은 번역을 BLEU, METEOR도 평가한 후, <일치>, <불일치> 조건에서 인간평가-자동평가를 비교했다. 그 결과, <일치>가 <불일치> 조건보다 평가의 타당도가 높은 것으로 나타났지만, 그 차이는 유의미하지 않았다. 이는 무엇보다 인간평가자가 정답에 대한 넓은 공통분모를 가지고 있었기 때문으로 보인다. 이 실험을 통해 본 연구는 자동평가라고 하더라도 인간의 영향이 크다는 결론을 얻었다. 정답자-평가자가 동일인일 필요는 없지만, 다를 경우, 이들은 번역사, 평가자로서의 비견할만한 자질을 갖추어야 한다.

영어초록

Im vorliegenden Beitrag geht es um die Rolle des Menschen bei der automatischen Bewertung von Humanübersetzungen. Die Kernfrage lautet dabei, ob BLEU und METEOR, die beiden weit verbreiteten automatischen Bewertungssysteme, noch anwendbar wären, auch wenn der Evaluator, der die Validität der automatischen Bewertung prüft, nicht dieselbe Person wäre wie der Referenzübersetzer, welcher für die Maschine die „Musterübersetzung“ liefert. 120 Übersetzungen (12 Sachtexte wurden von 10 Universitätsstudenten übersetzt) wurden von drei professionellen Übersetzern/Evaluatoren sowie den automatischen Systemen BLEU und METEOR bewertet. Drei Evaluatoren lieferten jeweils ihre eigenen Referenzübersetzungen. Die Validität der automatischen Bewertungen (Korrelation zwischen menschlichen Evaluatoren und automatischen Systemen) wurde unter zwei verschiedenen Bedingungen, Kongruenz- [Referenzübersetzer=Evaluator] und Inkongruenzbedingungen, gemessen und sowohl auf der Ebene der Einzeltexte als auch des gesamten Korpus analysiert (ANOVA). Die Ergebnisse zeigten, dass die Inkongruenzbedingung die Validität von BLEU und METEOR nicht wesentlich beeinträchtigt, was wiederum bedeutet, dass im Falle der Bewertung durch BLEU und METEOR Evaluatoren und Referenzübersetzer durchaus separat engagiert werden können, solange sie mit vergleichbaren Übersetzerkompetenzen ausgestattet sind.

참고자료

· 없음