단어 문맥 및 시퀀스에 대한 임베딩을 결합한 2-채널 문서분류 딥러닝 아키텍처 (A 2-channel Deep Learning Architecture Combining Context Embedding and Sequence Embedding for Text Classification)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 40권 / 2호 / 3 ~ 22페이지
· 저자명 : 권순관, 김한준

초록

최근 텍스트 데이터의 폭발적인 증가와 텍스트 생성모델의 발전으로 SNS 데이터 및 리뷰 데이터의 감성 분류, 가짜 뉴스 탐지 등 자동 문서분류의 중요성이 더욱 부각되고 있다. 본 논문에서는 보다 정확한 문서분류를 위해 문맥을 고려한 단어 임베딩 기반 텐서공간모델(Tensor Space Model)과 Transformer 모델을 효과적으로 결합한 2-채널 딥러닝 아키텍처를 제안한다.
문서분류 성능을 높이기 위해서 문서분류 아키텍처는 의미, 문맥, 순서 정보를 동시에 고려하여 학습되어야 한다. 텐서공간모델은 하나의 문서를 단어-개념(Term-by-Concept) 행렬로 표현하는 것인데, 이는 다의어(Polysemy) 문제와 단어 순서 정보를 고려하지 않았다. 본 논문에서는 완벽한 문서분류를 지향하기 위해 단어의 의미, 문맥, 순서 정보를 모두 학습할 수 있는 딥러닝 아키텍처를 고안했다. 제안된 모델은 두 개의 입력이 존재하는데 의미 정보와 문맥 정보를 학습하기 위한 텐서공간모델과 순서 정보를 학습하기 위한 Transformer 모델이 활용되었다. 본 논문에서는 6개의 영문 텍스트 데이터셋을 활용하여 분류 정확도 측면에서 제안된 아키텍처의 성능 개선을 증명했다.

영어초록

Recently, the explosive increase in the amount of text data and the rapid spread of text generative models has caused automatic text classification for information (e.g., social data, review data, and fake news) to become increasingly important. This paper proposes a 2-channel deep learning architecture that effectively combines contextual word embedding and the Transformer model under the tensor space representation model to achieve more reliable text classification.
To improve text classification performance, the classification model must be trained to simultaneously consider semantic, context, and sequence information. The tensor space representation model represents a single document as a term-by-concept matrix that contains the semantic information of words; however, it does not accommodate the polysemy problem or word sequence information. To achieve near-perfect text classification, we propose a deep learning architecture that can learn all three types of information: semantic, context, and sequence information of words. The proposed model consists of two inputs: the tensor space model for learning semantic and context information, and the Transformer model for learning sequence information. In this paper, we demonstrated the performance improvement of the proposed architecture using six English text datasets in terms of classification accuracy.

참고자료

· 없음