유튜브 악플 탐지를 위한 기계학습: 스태킹 앙상블 모델의 적용을 중심으로 (Machine Learning for Detecting Malicious Comments on YouTube: Focusing on the Application of Stacking Ensemble Model)

서지정보

· 발행기관 : 한국자료분석학회
· 수록지 정보 : Journal of The Korean Data Analysis Society / 24권 / 4호 / 1583 ~ 1598페이지
· 저자명 : 이신행

초록

본 연구는 유튜브와 같은 개인미디어 플랫폼에서 쉽게 확산되는 악성댓글을 자동적으로 판별하는 기계학습 모델의 분류 성능을 비교하고 이를 개선하기 위한 방법으로 스태킹 앙상블 모델을 적용해 그 결과를 평가했다. 댓글 데이터는 특정 유명인이 연루된 사회적 혹은 연예계 이슈를 선정적으로 전달해 혐오 정서를 자극하는 “사이버렉카” 콘텐츠에 주목해 관련한 대표 채널의 인기 영상에 달린 댓글 59,999건을 웹 크롤링 방식으로 수집했다. 그리고 인간 코더의 라벨링 작업으로 판별된 2,851건의 악플과 데이터 균형화를 위해 무작위로 추출된 2,851건의 악플이 아닌 댓글로 구성된 5,702건의 댓글 데이터 세트를 마련했다. 분류 알고리즘으로는 logistic regression, Naïve Bayes, random forest, support vector machine 모델을 선택했다. 분석 결과, 단일 알고리즘에 기반한 모델의 성능은 평가 지표에 따라 장단점이 분명하게 드러나고 있었다. 가령, 정확도와 점수의 기준으로 가장 좋은 성능을 보여준 random forest 모델은 재현율에 있어 다른 분류 알고리즘에 비해 떨어지는 성능을 나타냈다. 반면, 스태킹 앙상블 모델은 단일 알고리즘 분류기의 장점을 취하고 약점은 보완하는 메타 분류기를 도출해 악플 분류 성능을 향상시켰다. 결국, 스태킹 앙상블 모델은 배깅이나 부스팅 앙상블 학습과는 달리 서로 다른 장점을 보이는 복수의 알고리즘을 결합하여 모델의 성능 지표에서 나타난 불균형을 해소하고 이를 통해 보다 균형있게 개선된 악플 분류 모델의 생성과 적용에 활용될 수 있음을 제시한다.

영어초록

This study examined the classification performance of machine learning models that automatically detect malicious comments, which easily spread on personalized media platforms such as YouTube, and applied a stacking ensemble model as a way to improve them. Though web-crawling, 59,999 comments were collected from popular videos of representative “cyber wrecker” channels that deliver social or entertainment issues involving certain celebrities and stimualte hatred of them. In doing so, we prepared a data set of 5,702 comments, of which 2,851 were labeled as malicious by human coders and 2,851 were randomly extracted from the remaining non-malicious comments to balance the data. As classification algorithms, we selected the logistic regression, Naïve Bayes, random forest, and support vector machine models. As a result, the performance of the models based on a single algorithm was clearly dependent on evaluation metrics. In particular, the random forest model, which showed the best performance on the basis of accuracy and score, fell behind other models in terms of recall. On the other hand, the stacking ensemble model improved the performance of classifying malicious and non-malicious comments by generating a meta-learning classifier that gained from single algorithm classifiers and complementing their weaknesses. Finally, we demonstrated how stacking ensemble models, as opposed to ensemble learning methods of bagging or boosting, can be used to create a better classifier of malicious comments by combining multiple algorithms with different advantages and addressing the imbalances shown in the classification evaluation metrics.

참고자료

· 없음