소셜 빅데이터 분석에서 지도 학습을 이용한 노이즈 리뷰 필터링 (Efficient Filtering of Noise Reviews Using Supervised Learning in Social Big Data Analysis)

서지정보

· 발행기관 : 한국컴퓨터정보학회
· 수록지 정보 : 한국컴퓨터정보학회논문지 / 28권 / 6호 / 63 ~ 69페이지
· 저자명 : 김현규

초록

검색 API를 통해 수집된 소셜 리뷰에는 주어진 검색어와 상관없는 리뷰가 다수 포함되어 있을수 있으며, 이들 리뷰는 왜곡된 분석 결과를 초래할 수 있어 노이즈 리뷰로 지칭된다. 본 논문에서는 노이즈 리뷰를 효과적으로 필터링하기 위한 지도 학습 알고리즘들을 소개하고, 실험을 통해 이들의 성능을 비교한다. 실험에는 울산광역시의 관광지를 대상으로 수집된 2만여 개의 리뷰가 이용되었으며, 학습 알고리즘으로는 텍스트 처리에 높은 정확도를 제공하는 것으로 알려진 LSTM과BERT를 이용하였다. 실험 결과, BERT의 정확도가 LSTM에 비해 우수했으며, 두 알고리즘의 f1-스코어는 각각 90.1%와 95.2%로 조사되었다. 반면, 실행시간 측면에서는 LSTM이 BERT에 비해 5배정도 빠른 성능을 제공하였다. 따라서 노이즈 리뷰 필터링 문제에 있어 정확도가 중요한 경우BERT가, 성능이 중요하거나 컴퓨팅 자원이 부족한 경우는 LSTM이 보다 적절하게 이용될 수 있다.

영어초록

Social reviews collected through the search API may include a large number of reviews unrelated to a given search term, and these reviews are referred to as noise reviews because they may lead to distorted analysis results. In this paper, we discuss supervised learning algorithms to conduct filtering of the noise reviews efficiently, and compare their performance through experiments. About 20,000 reviews collected for tourist attractions in the Ulsan metropolitan city were used for the experiments, and LSTM and BERT, which are known to provide high accuracy in text processing, were adopted for training and testing the reviews. As a result, BERT provided better accuracy than LSTM, where f1-scores of the two algorithms were 90.1% and 95.2%, respectively. On the other hand, in terms of execution time, LSTM was about 5 times faster than BERT. The result shows that, in the noise review filtering, BERT can be used more properly when accuracy is important, whereas LSTM can be used more properly when performance is important or computation resources are insufficient.

참고자료

· 없음