AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service

최승호, 정백, 황보유정, 박경양, 이경전. (2022).AI-Connect Protocol: A New Federated Deep Learning Method for User-Centric AI Service.한국지능정보시스템학회 2022 춘계학술대회.

Abstract

사용자 중심 인공지능 서비스 구현을 위해 연합학습 (Federated Learning)을 적용하는 과정에서 Data 를 결합하지 않고도 학습 가중치만을 공유해야 되는 문제점이 있다. 위 문제를 경감하기 위해서 학습 가중치만 공유하는 개념에 기반하여
Iterative Parallel Average(IPA)를 제안한다. 새롭게 제안하는 IPA 방식은 학습 Data를 분할하여 순차적으로 Local Model을 만들고 학습 가중치를 반복 누적 평균하여 만든 Global Model이다. 이를 검증하기 위해 각 Local Model의 평균, Data를 결합한 Global Model, 기존의 연합학습에서 사용되고 있는 이른바 Monolithic Average (MA) 방법, 그리고 IPA 방법을 Text classification 와 Text generation 태스크 실험을 통해 비교했다. IPA 방식의 성능은 Local Model의 평균 성능보다 각 태스크에서 4.1%, 8.7%, MA 방법의 성능보다 5.1%, 13.7% 향상되었고, Data를 결합한 Global Model의 성능보다는 낮았다. 결론적으로 Data를 결합하지 않는 조건에서, 새롭게 제안한 IPA 방식의 성능이 향상됨을 확인했다.