한국어 비정형 데이터 처리를 위한 효율적인 오피니언 마이닝 기법 (An efficient opinion mining technique for processing unstructured data in korean)

서지정보

· 발행기관 : 사단법인 인문사회과학기술융합학회
· 수록지 정보 : 예술인문사회 융합 멀티미디어 논문지 / 7권 / 6호 / 759 ~ 766페이지
· 저자명 : 남기훈

초록

본 논문에서는 소셜 네트워킹 서비스(SNS)에서 구조가 복잡한 비정형 데이터를 처리하기 위해 새로운 마이닝 접근법을 제안한다. SNS에 올라온 텍스트 형태의 문장들을 분석하여 의미있는 감성 정보를 보다더 효과적으로 추출하기 위해서이다. 어휘 사이의 관계를 형성하는데 주목적으로 하는 기존방식의 SentiwordNet은 함축적 표현의 한글 문장 및 초성, 중성, 종성으로 이루어진 독특한 글자 구조인 한글에 적용하기 어려운 문제가 있다. 이를 개선하기위해 레빈쉬타인 거리 알고리즘을 적용하여 한글 문장을 효율적으로 탐색하고 결과에 가중치를 부여하여 감성 사전을 구축했다. 문장 분석을 실시간 처리하여 일반문, 긍정문, 부정문으로 평가 계산식을 사용하여 구별했으며 그 결과를 백분율로 표기하였다. 실험 결과를 통해 본 논문에서 제안하는 방법이 Navie Baysian 방식의 실험보다 문장에서 감정 분류에 효과적이라는 것을 증명했다. 대용량 데이터를 효율적으로 처리하기 위해 하둡 시스템을 이용했다.

영어초록

In this paper, we proposed a new mining approach to process unstructured data with complex structure in Social Networking Service(SNS). The proposed method is to extract meaningful emotional information more effectively by analyzing the texts posted on the SNS. In general, SentiwordNet method, which is the main purpose of forming the relationship between existing vocabularies, has a problem that is difficult to apply to korean sentences of implicit expression and Unique character structure. To improve this, applying the Levenshtein distance algorithm, Korean words are efficiently searched and the sentiment word dictionary is constructed by assigning weights to the result. Sentence analysis was processed in realtime to distinguish general, positive, negative sentences and the results were expressed as a percentage. According to the result of the experiment, we proved that is more effective for classifying emotions in sentences than Navie Baysian. Hadoop system was used for efficient with handle web-scale data.

참고자료

· 없음