어그리게이터 클라이언트를 활용한 클러스터링 기반 탈중앙 연합학습 프레임워크 (Clustering-based Decentralized Federated Learning Framework with Aggregator Nodes)

서지정보

· 발행기관 : 대한전자공학회
· 수록지 정보 : 전자공학회논문지 / 61권 / 8호 / 15 ~ 18페이지
· 저자명 : 박준영, 이주형

초록

탈중앙 연합학습은 중앙서버 없이 각 노드 간의 통신을 통해 모델을 교환하고 결합하는 분산 협력 학습 방식이다. 기존의 연합학습과 비교했을 때, 단일 장애점, 병목 현상 문제를 극복할 수 있다는 장점이 있다. 하지만 탈중앙 연합학습은 어그리게이터의 부재로 인한 학습성능 저하를 겪게 된다. 또한, 연합학습과 같은 분산학습에서는 모델의 일반화 역량 및 개인화 역량 모두 갖춘 모델을 학습하는 것이 중요하다. 본 연구는 어그리게이터 노드를 도입하여 어그리게이터의 부재로 인한 학습 성능 저하를 극복하고, 개인화 역량 및 일반화 역량을 모두 갖출 수 있는 클러스터링 기반 탈중앙 연합학습 프레임워크를 제안한다. 본 논문에서 제시한 방법은 어그리게이터를 효과적으로 도입하기 위해 학습 방향 유사도를 기반으로 한 클러스터링을 진행한다. 클러스터 내 학습에서는 어그리게이터 노드를 활용하여 유사한 학습 방향을 가진 노드들과의 협업을 통해 개인화 역량을 갖추고자 한다. 이후 지나친 개인화 방지 및 일반화 역량 확보를 위해 클러스터 간 학습을 진행한다. 탈중앙 연합학습에서 어그리게이터 활용의 효용성에 대해 실험적인 분석을 진행하였고, 제안된 방식은 CIFAR-10 데이터셋에 대해 기존의 탈중앙 연합학습 대비 4.2% 정확도 향상이 있음을 보여준다.

영어초록

Decentralized federated learning(DFL) is a distributed collaborative learning approach where nodes exchange and aggregate models directly. It has the advantage of overcoming single points of failure and bottlenecks in central servers compared to conventional federated learning. However, the absence of an aggregator leads to performance degradation compared to conventional federated learning. Additionally, in distributed learning, it is important to make the model have both generalization and personalization capabilities. This study proposes a clustering-based decentralized federated learning framework to overcome the performance degradation caused by the absence of an aggregator node while ensuring both personalization and generalization capabilities. The proposed method in this paper conducts clustering based on optimization path similarity to effectively introduce aggregators. Intra-cluster learning aims to achieve personalization capability by utilizing aggregator nodes to collaborate with nodes that have similar learning directions. Subsequently, to prevent excessive personalization and ensure generalization capability, inter-cluster learning is conducted. Experimental analysis on the efficacy of aggregator in decentralized federated learning was conducted, demonstrating a 4.2% improvement in accuracy compared to decentralized federated learning on the CIFAR-10 dataset.

참고자료

· 없음