BERT 기반 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 치매와 조현병 관련 질병 진단 (BERT-based Two-Stage Classification Models and Co-Attention Mechanism for Diagnosing Dementia and Schizophrenia-related Disease)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 49권 / 12호 / 1071 ~ 1087페이지
· 저자명 : 정민교, 나승훈, 김고운, 신병수, 정영철

초록

최근 환자가 많이 증가함에 따라 사회적 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 의사와 내담자의 대화 음성 시료를 전사 작업한 스크립트를 이용해 치매와 조현병의 세부적인 분류를 시도하였다. 두 단계 과정으로 분류를 진행하는 2단계 분류 모델과 Co-Attention 메커니즘을 이용한 분류 모델을 제안하였다. 2단계 분류 모델은 정상군과 환자군 각각의 발화에서 계산되는 perplexity 차이에 기반한 분류와 미세 조정한 BERT 모델을 이용한 분류의 통합을 시도한 모델이다. Co-Attention 메커니즘을 이용한 분류 모델은 의사와 내담자 발화를 분리해 각 발화에 대해 표상을 구하고, 이를 바탕으로 표상 간의 어텐션 가중치 공유를 통해 분류하는 모델이다. BERT 모델을 미세 조정하여 분류를 시도한 Baseline 모델과의 F1 점수 비교를 통해 2단계 분류 모델은 7개 분류 태스크 중 4개의 태스크에서 성능 향상을 확인 하였고, Co-Attention 메커니즘 모델은 8개 분류 태스크 중 4개의 태스크에서 가장 높은 F1 점수를 보인 것을 확인하였다.

영어초록

Noting the recently increasing number of patients, we present deep learning methods for automatically diagnosing dementia and schizophrenia by exploring the use of the novel two-stage classification and the co-attention mechanism. First, the two-stage classification consists of two steps - the perplexity-based classification and the standard BERT-based classification. 1) the perplexity-based classification first prepares two types of BERTs, i.e., control-specific and patients-specific BERTs, pretrained from transcripts for controls and patients as the additional pretraining datasets, respectively, and then performs a simple threshold-based classification based on the difference between perplexity values of two BERTs for an input test transcript; then, for ambiguous cases where the perplexity difference only does not provide sufficient evidence for the classification, the standard BERT-based classification is performed based on a fine-tuned BERT. Second, the co-attention mechanism enriches the BERT-based representations from a doctor’s transcript and a client’s one by applying the cross-attention over them using the shared affinity matrix, and performs the classification based on the enriched co-attentive representations. Experiment results on a large-scale dataset of Korean transcripts show that the proposed two-stage classification outperforms the baseline BERT model on 4 out of 7 subtasks and the use of the co-attention mechanism achieves the best F1 score for 4 out of 8 subtasks.

참고자료

· 없음