트위터와 단어 임베딩을 사용한 인플루엔자 감지 (Influenza Detection Using Twitter and Word Embeddings)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 45권 / 1호 / 96 ~ 104페이지
· 저자명 : 김인환, 장백철

초록

유행성 독감은 매년 전 세계적으로 300~500만 명의 중증 질환을 야기하며, 29~65만 명의 사망자를 발생시키는질병이다. 유행성 독감의 피해를 최소화하기 위하여 질병관리본부(KCDC)는 독감에 대한 표본 감시 자료를 제공하고 있지만 실제 질병의 발생과 표본 감시 자료 사이에는 1~2주의 시간 차이가 발생한다. 따라서, 검색 엔진의검색어 및 소셜 네트워크 서비스와 같은 실시간 웹 데이터를 사용하여 자료 제공과 실제 질병 발생 사이의 시간차이를 줄임으로써 초기에 독감 발생 징후를 감지하는 것은 중요한 일이다. 트위터는 소셜 네트워크 서비스 중 하나로서 실시간으로 독감의 발생 징후를 예측하는데 적합한 데이터이며 단어 임베딩은 트윗들을 학습하여 독감과연관성이 높은 단어들만을 추출해 예측 모델의 정확성을 향상시킬 수 있다. 본 연구는 단어 임베딩을 사용하여 트윗을 학습시키고 독감과 연관성이 높은 단어들을 추출하여 추출된 단어들이 포함된 트윗들이 제공하는 정보를 통해 실시간으로 독감의 발생 징후를 감지하는 회귀 모델을 제안한다. 최신 단어 임베딩 기술인 Word2vec, GloVe, Fasttext을 통해 추출된 단어를 사용한 회귀 모델의 정확도를 비교하였고 Word2vec에서 추출된 단어를 사용한 회귀 모델이 실제 표본 감시 자료와 가장 높은 0.9718의 상관 비율을 갖는 것을 보였다.

영어초록

Influenza is a disease that causes between 3 and 5 millions serious illnesses worldwide and produces between 290,000 and 650,000 deaths each year. To minimize the impact of influenza, the KCDC provides surveillance data for influenza, but there is a reporting delay of 1~2 weeks between actual outbreaks and surveillance data provided. It is therefore important to detect influenza early by using real-time web data such as search queries and social network services to reduce reporting delay. Twitter is one of the social network services that is suitable for predicting the outbreaks of influenza in real time, and word embeddings can improve the accuracy of predictive models by learning tweets and extracting words that are highly related to influenza. This study proposes a regression model that learns tweets using word embeddings, extract words that are highly related to influenza, and detects the signs of influenza in real time through the information provided by tweets that contain extracted words. We compared the accuracy of regression models using words extracted from Word2vec, GloVe and Fasttext, which are the states-of-arts word embeddings, and found that regression models using words extracted from Word2vec have the highest correlation ratio of 0.9718 with the surveillance data.

참고자료

· 없음