한국어 문서 처리를 위한 동적 생성 로컬 사전 기반 미등록어 분석

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 : 소프트웨어 및 응용 / 29권 / 6호 / 407 ~ 416페이지
· 저자명 : 김선호, 윤준태, 송만석

초록

본 논문은 문서상에서 발견되는 미등록어를 분석하기 위한 새로운 방법론을 제안한다. 미등록어는 대개 고유명사, 외래어, 전문용어 등으로 정보추출이나 정보검색 시 중요한 색인어가 될 수 있다. 또한 미등록어는 일반적으로 특정 문서를 대표하는 중요한 단어로 해당 문서에서 반복적으로 등장하는 특징이 있다. 이러한 특성을 이용하여 주어진 문서를 선행 처리하면 미등록어를 등록어처럼 취급할 수 있다. 본 연구에서는 suffix array 구조를 이용해 문서로부터 어절들의 최장 공통 문자열을 추출하여 로컬 사전을 생성한다. 각 문서에 대해 로컬 사전은 동적으로 생성되며, 시스템의 형태소 어휘 사전을 보조하여 미등록어 분석에 도움을 준다. 실험을 통하여 로컬 사전을 이용한 형태소 분석과 이용하지 않은 경우를 비교한 결과, 미등록어 발생시 추정에 의한 과분석을 방지할 수 있을 뿐 아니라 보다 정확한 분석이 가능함을 볼 수 있었다.

참고자료

· 없음