사전 학습된 문장 병목 오토인코더를 활용한 텍스트 분류를 위한 원-샷 반지도 연합 학습 접근법 (An Approach to One-Shot Semi-Supervised Federated Learning for Text Classification with Pretrained Sentence Bottleneck Autoencoders)

서지정보

· 발행기관 : 한국지능정보시스템학회
· 수록지 정보 : 지능정보연구 / 30권 / 4호 / 273 ~ 292페이지
· 저자명 : 전소영, 김우주

초록

모바일 기기 사용이 증가함에 따라, 사용자가 작성한 문장을 기반으로 한 성향 분석, 상품 추천, 소셜 미디어 감성 분석 등 텍스트 분류의 비즈니스 가치가 증가하고 있다. 그러나 이러한 모바일 텍스트 분석은 개인정보 노출과 대규모 데이터 를 중앙 서버에 전송해야 하는 문제로 인해 학습 과정에서 어려움에 직면하고 있다. 이 문제를 해결하기 위해 연합 학습 (Federated Learning, FL) 접근법이 주목받고 있다. 그러나 기존 연합 학습 방법은 레이블이 있는 데이터를 활용한 지도 학습 방식에 의존하고 있어, 실제 모바일 환경에서는 레이블이 없는 데이터가 더 많으며, 비독립적-비동일한 데이터 분포 (Non-Independent and Identically Distributed, Non-IID)의 텍스트 데이터 환경으로 기존 방식은 성능이 저하되는 한계가 있다. 본 연구는 이러한 한계를 극복하기 위해 사전 학습된 문장 병목 자동인코더(Sentence Bottleneck Autoencoder, SB-AE) 를 활용한 새로운 원-샷 반지도 연합 학습 방법을 제안한다. 이 방법은 서버의 프로토타입을 활용해 레이블이 없는 클라이 언트 데이터의 가상 레이블을 반지도 학습으로 예측하고, 클라이언트의 대표 특징만을 서버에 전달해 고품질의 증강 텍스 트 데이터를 생성한다. 이를 통해 클라이언트 학습 없이 단일 통신 라운드만으로 서버의 글로벌 모델을 미세 조정하여 모 바일 기기에서의 텍스트 분류 성능을 향상시킴을 확인하였다. 이 접근법은 연합 학습에서의 네트워크 부담, 해킹 위험, 및 비용 증가 문제를 해결하는 데 기여한다.

영어초록

With the increasing use of mobile devices, the business value of text classification, such as sentiment analysis based on user-generated sentences, product recommendations, and social media sentiment analysis, has been growing. However, mobile text analysis faces challenges in the learning process due to privacy concerns and the necessity of transmitting large-scale data to central servers. To address these issues, the Federated Learning (FL) approach has garnered significant attention. However, existing FL methods rely heavily on supervised learning using labeled data. In real mobile environments, most data is unlabeled, and the text data often exhibits Non-Independent and Identically Distributed (Non-IID) characteristics, which significantly degrade the performance of conventional methods. To overcome these limitations, this study proposes a novel one-shot semi-supervised federated learning method using a pre-trained Sentence Bottleneck Autoencoder (SB-AE). This approach utilizes the prototype on the server to predict pseudo-labels for unlabeled client data through semi-supervised learning and transmits only the representative features of clients to the server to generate high-quality augmented text data. By fine-tuning the server's global model in a single communication round without client-side training, the proposed method improves text classification performance on mobile devices.

참고자료

· 없음