워드 임베딩과 딥러닝 기법을 이용한 SMS 문자 메시지필터링 (SMS Text Messages Filtering using Word Embedding and Deep Learning Techniques)

서지정보

· 발행기관 : (사)한국스마트미디어학회
· 수록지 정보 : 스마트미디어저널 / 7권 / 4호 / 24 ~ 29페이지
· 저자명 : 이현영, 강승식

초록

딥러닝에서 자연어 처리를 위한 텍스트 분석 기법은 워드 임베딩을 통해 단어를 벡터 형태로 표현한다. 본 논문에서는워드 임베딩 기법과 딥러닝 기법을 이용하여 SMS 문자 메시지를 문서 벡터로 구성하고 이를 스팸 문자 메시지와 정상적인 문자 메시지로 분류하는 방법을 제안하였다. 유사한 문맥을 가진 단어들은 벡터 공간에서 인접한 벡터 공간에 표현되도록 하기 위해 전처리 과정으로 자동 띄어쓰기를 적용하고 스팸 문자 메시지로 차단되는 것을 피하기 위한 목적으로 음절의 자모를 특수기호로 왜곡하여 맞춤법이 파괴된 상태로 단어 벡터와 문장 벡터를 생성하였다. 또한 문장 벡터 생성 시CBOW와 skip gram이라는 두 가지 워드 임베딩 알고리즘을 적용하여 문장 벡터를 표현하였으며, 딥러닝을 이용한 스팸문자 메시지 필터링의 성능 평가를 위해 SVM Light와 정확도를 비교 측정하였다.

영어초록

Text analysis technique for natural language processing in deep learning represents words in vector form throughword embedding. In this paper, we propose a method of constructing a document vector and classifying it into spamand normal text message, using word embedding and deep learning method.
Automatic spacing applied in the preprocessing process ensures that words with similar context are adjacentlyrepresented in vector space. Additionally, the intentional word formation errors with non-alphabetic orextraordinary characters are designed to avoid being blocked by spam message filter.
Two embedding algorithms, CBOW and skip grams, are used to produce the sentence vector and the performanceand the accuracy of deep learning based spam filter model are measured by comparing to those of SVM Light

참고자료

· 없음