『한국문집총간』 엔그램 분석 프로그램 개발 연구 (A Study on the Ngram analysis programof 『Korea Literature Series』)

서지정보

· 발행기관 : 한국한문학회
· 수록지 정보 : 한국한문학연구 / 77호 / 543 ~ 570페이지
· 저자명 : 이병찬

초록

지금 한문학 연구는 새로운 전환기를 맞이하고 있다. 빅데이터 처리 기술을 통하여 이전과 다른 연구 접근이 가능해졌다. 그러나 한문학 연구자가 기술에 대한 이해가 없다면 연구의 적용은 기대하기 어렵다. 빅데이터 기술을 우리 한문학에 적용하면 어떠한 성과를 얻을 수 있는 보여주는 것이 구글의 엔그램 뷰어(Ngram viewer)이다. 한국고전종합DB의 『한국문집총간』은 우리나라의 엔그램 뷰어를 구축할 수 있는 좋은 자료이다. 본고는 초보적 수준의 『한국문집총간』 엔그램 분석 프로그램을 개발하면서 발생한 문제점을 검토하고 그 개선 방향을 모색하여 향후 엔그램 뷰어를 구축하려는 연구이다.
기본적으로 코퍼스는 분석을 전제로 구축한다. 그러나 『한국문집총간』은 아쉽게도 검색이 가능한 텍스트의 개념으로 설계하였다. 그러므로 빅데이터 분석을 시도하려면 자료의 재가공이 필요하다. 재가공의 어려움은 작자가 다른 작품이 섞여 있거나 각주와 같이 분석에서 제외해야 할 자료가 있으므로 이를 처리할 정밀한 알고리즘이 필요하다. 이외에도 이체자와 동의어의 처리, 문체 분류와 제목의 처리 등을 해결해야 정확한 분석이 가능하다.
엔그램 뷰어를 구축하려면 먼저 엔그램 분석 프로그램이 필요하다. 엔그램 분석은 음절 혹은 어절 단위로 가능하지만, 어절을 정확히 구분할 수 없는 한문학 자료의 특성상 음절 단위 분석이 필수적이다. 현재 개발한 엔그램 프로그램은 음절 단위 분석을 통하여 문집의 그램별 통계, 문집과 문집의 공유 그램, 그램 유사도 수치를 제공하고 문집과 문집의 유사한 구와 편을 찾아주는 기능이 있다. 하지만 문집과 문집 일대일 비교만 가능하고 전체 문집을 대상으로 한 분석은 아직 불가능하다. 시험 분석을 통하여 오류를 개선하여 엔그램 분석 프로그램의 정확도를 높이고 다양한 기능을 추가하면 이를 바탕으로 한국형 엔그램 뷰어가 가능하다. 한국형 엔그램 뷰어는 연구의 보조도구이며, 그 성패는 한문학 자료의 성격을 이해하고 유용하게 활용할 수 있는 프로그램을 설계할 수 있는 연구자의 역량에 달려 있다. 한국형 엔그램 뷰어를 완성하려면 본고에서 검토한 난관들을 해결하여야 하며, 이는 개인의 노력만으로 한계가 있다. 학계의 적극적 관심과 지원을 기대한다.

영어초록

Now the study of Korean Chinese literature is entering a new turning point. Big data processing technology allows access to research that is different from before. However, the application of research is hard to expect unless the researcher of Korean Chinese literature has an understanding of technology. Google’s "Ngram Viewer" shows how big data technology can be achieved by applying it to Korean Chinese literature. 『Korea Literature Series』 of the Korean Classical Database is a good source for the establishment of the Korean-style Ngram viewer. This research is trying to establish an Ngram viewer by reviewing problems caused by the development of the elementary level of the Ngram analysis program and looking for ways to improve it.
Basically, Copus builds on the basis of analysis. However, 『Korea Literature Series』 was unfortunately designed as a searchable text concept. Therefore, it is necessary to rework the data to try to analyze big data. The difficulty of rework requires a precise algorithm to handle it because the author has mixed other works or there are data to be excluded from the analysis, such as footnotes. In addition, accurate analysis is possible only after processing the words that are synonymous with the transferor, classifying the style and processing of the title.
In order to build an Ngram viewer, an Ngram analysis program is required first. Ngram analysis is possible on a syllable or syntactic word basis, but syllabic unit analysis is essential due to the nature of Korean Chinese literature data, which cannot accurately distinguish words. Through syllabic unit analysis, the currently developed program provides statistics by gram, shared gram and gram similarity Measurement for the book collection and the function of searching for similar passages and sides of the collection. However, only one-on-one comparisons are possible between the collection and the collection, and analysis of the entire collection is not yet possible. By improving the accuracy of the program by improving errors through test analysis, and adding various functions, the Korean-style Ngram Viewer is available based on this basis. The Korean-style Ngram Viewer is a research aid, and its success or failure depends on the researchers’ ability to understand the nature of the Korean Chinese literature materials and design programs that can be useful. To complete the Korean-style Ngram Viewer, the difficulties reviewed by the main office must be solved, which has limitations with individual efforts alone. We look forward to the active interest and support of the academic community.

참고자료

· 없음