클릭률 예측 성능 향상을 위한 행렬 분해 연구 (A Study on Matrix Decomposition to Improve CTR Prediction Performance)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 23권 / 4호 / 149 ~ 158페이지
· 저자명 : 김태석

초록

사용자가 주어진 항목을 클릭할 확률을 추정하는 클릭률 (Click-Through Rate, CTR) 예측 분야에서 사용되는 입력의 특징은 매우 희소(sparse)하고 고차원(high-dimensional)이다. 우수한 예측 성능을 얻기 위해서는 입력 특징을 고려한 계산 효율적인 저차원 표현을 사용하여 예측 결과와 상관성이 높은 특징 상호작용(high-order feature interaction) 파악이 매우 중요하다. 이 논문에서는 특징 상호 작용 파악에 있어 계산 효율성을 달성하기 위해 입력을 저차원으로 투영(projection)하는 기존의 기법들이 상호 작용 표현력에 한계를 가질 수 있다는 가설에 근거하여 고차원 매핑을 통해 상호 작용 관계에 대한 설명력을 증대시키는 모형을 제시한다. 실험 결과에 따르면 제안된 모형은 기존 차원 축소 기반의 모형들에 비해 AUC (area under curve) 성능 향상을 확인하였다. 또한, 제안된 방식을 활용한 상호 작용의 결과물을 심층 신경망과 결합 시 AUC 성능의 추가 향상과 동시에 학습 파라미터의 절감을 달성하였는데 이는 저차 다항 근사라도 풍부한 설명력을 확보할 수 있으면 DNN의 비선형 표현 능력을 통해 성능과 메모리 간 균형이 있는 trade-off를 달성할 수 있음을 시사한다.

영어초록

The characteristics of inputs used in the field of click-through rate (CTR) prediction, which estimates the probability that a user clicks on a given item, are very sparse and high-dimensional. It is a key success factor for CTR prediction to understand high-order feature interactions that are highly correlated with prediction results using computationally efficient low-dimensional representations that consider input characteristics. In this paper, based on the hypothesis that the existing techniques of projecting inputs into low dimensions may have limitations in capturing feature interaction, we propose a model that increases the expressive power of interaction through high-dimensional mapping. According to the experimental results, the proposed model achieves improvement in AUC compared to existing dimension reduction-based models. In addition, when the output of the proposed method is combined with deep neural network, the AUC performance is further improved and the learning parameter are reduced. It suggests that a trade-off with a balance between performance and memory can be achieved through expressive power.

참고자료

· 없음