품사 태거와 빈도 정보를 활용한 세종 형태 분석 말뭉치 오류 수정 (Error Correction of Sejong Morphological Annotation Corpora using Part-of-Speech Tagger and Frequency Information)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 : 소프트웨어 및 응용 / 40권 / 7호 / 417 ~ 428페이지
· 저자명 : 홍진표, 차정원

초록

형태 분석 말뭉치란 형태소 분석정보와 각 형태소의 품사표지를 가지고 있는 말뭉치를 말한다. 이 말뭉치는 자연 언어 처리의 기초인 형태소 분석기와 품사 태거를 제작하기 위해 사용된다. 따라서 이 말뭉치는 형태 분석에 일관성이 있어야 하며 매우 정확해야 한다. 현재 가장 일반적으로 활용되는 말뭉치는 국립국어원에서 “21세기 세종 계획”의 일환으로 구축한 말뭉치이다. 그러나 이 말뭉치는 여러 수정 과정과 검증 작업을 거쳤음에도 불구하고 일부 정보에 대해 일관성이 부족하다. 그 이유는 구축 지침 상의 애매성, 말뭉치 작업자의 구축 지침 미숙달로 인해 발생한다. 본 논문에서는 이러한 세종 형태 분석 말뭉치의 일관성을 개선하기 위해 품사 태거의 결과와 정답을 비교해 높은 빈도의 오류 어절을 추출하여 해당 오류를 수정하였다. 또한, 수정 작업 시 발생할 수 있는 구축 지침 상의 오류를 수정 보완하였다. 그 결과, 세종 형태 분석 말뭉치 상의 약 15만여 개의 오류를 수정하였다.

영어초록

A morphologically annotated corpus is the corpus that includes morphological information with Part-of-Speech tags. This is the core resource in handling a natural language. So they are required to be consistent and correct. The ‘Sejong Morphological Annotation Corpora’ by The National Institute of the Korean Language is widely used in natural language processing fields. However there are some problems in consistency of the corpora in spite of several correction processes. In this paper, we correct the Sejong Morphological Annotation Corpora using comparing the result of Part-of- Speech Tagger and the original corpora. We also modify and complement the annotation manual for clearness in annotation. As a result, we find and fix about 150,000 errors in the corpora.

참고자료

· 없음