KoBERT와 KoGPT2 기반의 대형언어모델과 딥러닝을 통합한 리뷰 유용성 예측모형 (The Prediction of Review Helpfulness by Integrating Large Language Models and Deep Learning based on KoBERT and KoGPT2)

서지정보

· 발행기관 : 한국지능정보시스템학회
· 수록지 정보 : 지능정보연구 / 30권 / 2호 / 195 ~ 209페이지
· 저자명 : 김은미, 남승진, 김태이, 홍태호

초록

AI 기술이 산업 전반에서 광범위하게 적용되면서 텍스트 데이터 기반의 대형언어모델이 높은 관심을 받고 있다. 대형 언어모델은 번역, 챗봇, 콘텐츠 생성 등과 같은 자연어 처리 분야에서 활발히 연구되고 있으며, 이커머스 분야에서도 고객 데이터 분석을 위해 사용되고 있다. 제품 및 서비스에 대한 사용 경험을 기반으로 사용자가 직접 작성하는 온라인 리뷰는 고객분석을 위한 중요한 자료이며, 대형언어모델의 활용은 텍스트로 작성되어 있는 리뷰 데이터의 의미 파악을 보다 정확 하게 할 수 있도록 한다. 본 연구는 SVM, 1D-CNN, 2D-CNN, CNN-LSTM의 딥러닝 모델과 대형 언어 모델인 KoBERT 와 KoGPT2로 리뷰 유용성 예측모형을 구축하고, 이를 통합하여 텍스트 내의 복잡한 의미가 반영된 리뷰 유용성 예측모 형을 제안한다. 구글 지도의 리뷰 데이터를 활용하였으며, 딥러닝 기법에서는 CNN-LSTM의 예측 성과가 72.74%로 가장 우수한 것으로 나타났다. KoBERT와 KoGPT2의 대형언어모델은 73.22%와 75.74%로 기존의 머신러닝 기법의 예측 모델 보다 대형언어모델을 기반으로 한 예측 모형이 우수한 성능을 보였다. 본 연구에서 제안한 딥러닝 기법과 대형 언어 모델을 통합한 통합모형에서는 76.37%의 정확도로 예측성과를 향상시켰으며, 통합모형은 텍스트의 의미를 보다 정확하게 반영하고, 예측성과를 향상시키며 예측모형의 안정성을 높일 수 있다.

영어초록

As AI technology is widely applied across industries, text data-based large language models are gaining significant attention. Large language models are actively researched in natural language processing fields such as translation, chatbots, and content creation, and are also used for customer data analysis in e-commerce. Online reviews, which are written directly by customers based on their experiences with products and services, are crucial for customer analysis, and leveraging large language models can help better understand the meanings embedded in these text reviews. This study proposes a review helpfulness prediction model by integrating deep learning models such as SVM, 1D-CNN, 2D-CNN, CNN-LSTM, and large language models KoBERT and KoGPT2, thereby reflecting the complex semantics within the text. Experiment results indicate that the CNN-LSTM model showed the best prediction performance at 72.74%. The large language models KoBERT and KoGPT2 achieved 73.22% and 75.74%, respectively, showing that prediction models based on large language models performed better than traditional machine learning models. The integrated model, combining the deep learning techniques and large language models proposed in this study, improved prediction performance with an accuracy of 76.37%, indicating that the integrated model can more accurately reflect the text’s meaning, enhance prediction performance, and improve model stability.

참고자료

· 없음