연구개발정보 문헌 자동분류를 위한 자연어 처리 딥러닝 모델 개발: 기후기술 분류체계를 중심으로 (Deep Learning Model based on Natural Language Processes for Multi-class Classification of R&D Documents: Focused on Climate Technology Classification)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 59권 / 7호 / 21 ~ 30페이지
· 저자명 : 주경원, 이관수, 이성만, 최안준, 노건태, 천지영

초록

신기후체제에 들어서며 전세계적으로 탄소중립을 선언하고 있으며 이를 위해 국가연구개발사업이 어떤 기후기술에 투자되고 있는지 관심이 고조되고 있다. 본 연구에서는 국가연구개발사업들의 문헌정보를 활용하여 45개의 기후기술 분류체계로 자동분류하는 딥러닝 모델을 개발하였다. NTIS에 등록되어 있는 2016∼2020년에 수행된 291,381건의 연구개발과제 중 2016∼2019년의 217,880건은 훈련 데이터셋으로, 2020년의 73,501건은 테스트 데이터셋으로 구분하여 실험하였다. 형태소 분석을 위해 kiwi와 Mecab을 사용하였으며 딥러닝 모델의 구조는 1D-CNN을 활용한 FC, EC 모델과 ELECTRA 사전학습 모델을 활용한 KoE 모델을 개발하였다. 각 클래스별 빈도의 편차가 큰 불균형데이터임을 고려하여 성능지표로 F1 스코어를 활용하였으며 각 개별모델과 앙상블 모델의 성능을 확인하였다. 개별모델에서는 키워드 빈도를 중심으로 학습하는 FC 모델이 0.824의 F1 스코어로 가장 우수했으며, 앙상블 모델에서는 개별모델 모두를 소프트 보팅(soft voting)한 Ens4 모델이 0.833의 F1 스코어로 가장 높은 성능을 나타냈다. 일반적인 말뭉치보다 전문적인 용어를 다수 포함하고 있는 대량의 기술문서 자동분류에서 본 모델을 사용한다면 기술전문가가 직접 라벨링하는 방법보다 보다 효율적인 프로세스를 갖출 수 있을 것이다.

영어초록

According to the Paris Climate Agreement, carbon neutrality is declared worldwide, and interest is growing in what climate technologies the national R&D projects are investing in. In this study, a deep learning model was developed that automatically classifies into 45 climate technology classification systems using literature information on national R&D projects. Of the 291,381 R&D projects registered in the NTIS from 2016 to 2020, 217,880 projects were assigned to training datasets from 2016 to 2019, and 73,501 projects from 2020 were assigned to test datasets. For morpheme analysis, kiwi and Mecab were used, and the structure of the deep learning model was developed by using 1D-CNN for FC and EC models, and ELECTRA for KoE model. Considering that the dataset is extremely unbalanced for each class, the F1 score was employed in this study as a performance metric, and the performance of each model and ensemble model was examined. In the individual models, the FC model, which focuses on keyword frequency, shows the best F1 score of 0.824, and in the ensemble model, the Ens4 model, which soft-voted all of the individual models, showed the highest performance with F1 score of 0.833. With this model in automatic classification tasks for documents containing more technical terminologies than a general corpus, a more efficient process will be provided than the direct labeling by technical experts.

참고자료

· 없음