그래프 신경망을 이용한 삭제 기반 한국어 문장 축약 (Deletion-based Korean Sentence Compression using Graph Neural Networks)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 1호 / 32 ~ 41페이지
· 저자명 : 이경호, 박요한, 이공주

초록

문장 축약은 주어진 문장의 요지를 담은 짧고 간결한 글을 생성하는 것으로 주로 삭제 기반의 축약 연구가 많이 진행되었다. 삭제 기반의 축약은 문장에서 덜 중요한 부분을 제거하여 문장을 축약하는 것이다. 본 연구에서는 딥러닝 모델을 이용하여 삭제 기반의 한국어 문장 축약 모델을 구축한다. 각각의 단어가 삭제될 것인지 축약에 포함될 것인지 이진 분류하는 기본 모델을 구축하고 여기에 LSTM과 어텐션 레이어를 추가한 모델을 설계한다. 그래프 신경망은 그래프 구조에 딥러닝 방법을 적용한 모델로 본 연구에서는 문장의 구문 구조를 축약에 사용할 수 있도록 그래프 신경망을 도입하였다. 그래프 신경망 중 대표적인 모델인 그래프 합성곱 신경망을 이용하여 의존 트리를 인코딩하고, 인코딩된 트리의 각 노드를 문장 축약 모델의 입력으로 사용한다. 일반적인 그래프 합성곱 신경망은 무방향 그래프만을 다루기 때문에 문장 축약에서 의존 트리의 부모, 자식 노드를 구분하기 위하여 유향그래프 합성곱 신경망을 제안한다. 실험 결과 기본 모델에 그래프 신경망을 적용했을 때 문장 축약의 정확도가 향상되었다. 또한 부모, 자식 노드를 구분할 수 있는 유향그래프 합성곱 신경망이 그렇지 못한 그래프 합성곱 신경망에 비해 높은 F1 점수를 얻었다. 실험을 통해 의존 구문 트리 구조를 명시적으로 반영하였을 때, 문장 축약에 더 좋은 성능을 발휘할 수 있음을 확인하였다.

영어초록

Automatic sentence compression aims at generating a concise sentence from a lengthy source sentence. Most common approaches to sentence compression is deletion-based compression. In this paper, we implement deletion-based sentence compression systems based on a binary classifier and long short-term memory (LSTM) networks with attention layers. The binary classifier, which is a baseline model, classifies words in a sentence into words that need to be deleted and words that will remain in a compressed sentence. We also introduce a graph neural network (GNN) in order to employ dependency tree structures when compressing a sentence. A dependency tree is encoded by a graph convolutional network (GCN), one of the most common GNNs, and every node in the encoded tree is input into the sentence compression module. As a conventional GCN deals with only undirected graphs, we propose a directed graph convolutional network (D-GCN) to differentiate between parent and child nodes of a dependency tree in sentence compression. Experimental results show that the baseline model is improved in terms of the sentence compression accuracy when employing a GNN. Regarding the performance comparison of graph networks, a D-GCN achieves higher F1 scores than a GCN when applied to sentence compression. Through experiments, it is confirmed that better performance can be achieved for sentence compression when the dependency syntax tree structure is explicitly reflected.

참고자료

· 없음