크라우드소싱 기반 문장재구성 방법을 통한 의견 스팸 데이터셋 구축 및 평가 (A Crowdsourcing-Based Paraphrased Opinion Spam Dataset and Its Implication on Detection Performance)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회 컴퓨팅의 실제 논문지 / 22권 / 7호 / 338 ~ 343페이지
· 저자명 : 이성운, 김성순, 박동현, 강재우

초록

웹이 정보 교환의 주된 수단으로 사용되면서, 온라인 리뷰의 중요도가 증가하는 동시에 사용자의 올바른 의사결정을 저해하는 의견 스팸 이슈가 부각되고 있으며, 관련 연구가 활발하게 진행되고 있다.
하지만 분석 및 학습에 필요한 기준 데이터셋의 부족함과 한계점들은 관련 연구의 발전을 더디게 하고 있다. 본 논문에서는 사실 리뷰를 모사한 새로운 형태의 Paraphrased Opinion Spam(POS) 데이터셋을 소개한다. 우리는 실제 스패머들이 스팸을 작성할 때 실제 리뷰를 참고한다는 경향에 착안하여, 실제 리뷰어들이 작성한 리뷰를 의역하는 과정을 통하여 본문에 포함되어 있는 사실 정보와 경험을 담은 스팸 데이터셋을 생성하였다. 실험 결과, 새롭게 생성된 POS 데이터셋이 언어학적으로 실제 리뷰들과 유사하여 스팸분류 모델을 이용하여 분류 시 기존의 데이터셋들보다 더 분류하기 힘들다는 것을 발견했다. 또한 데이터의 학습량에 따라서 스팸 리뷰의 분류 정확도가 비례적으로 증가하는 것

영어초록

Today, opinion reviews on the Web are often used as a means of information exchange.
As the importance of opinion reviews continues to grow, the number of issues for opinion spam alsoincreases. Even though many research studies on detecting spam reviews have been conducted, somelimitations of gold-standard datasets hinder research. Therefore, we introduce a new dataset called“Paraphrased Opinion Spam (POS)" that contains a new type of review spam that imitates truthfulreviews. We have noticed that spammers refer to existing truthful reviews to fabricate spam reviews.
To create such a seemingly truthful review spam dataset, we asked task participants to paraphrasetruthful reviews to create a new deceptive review. The experiment results show that classifying ourPOS dataset is more difficult than classifying the existing spam datasets since the reviews in ourdataset more linguistically look like truthful reviews. Also, training volume has been found to be animportant factor for classification model performance.

참고자료

· 없음