Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.701-704
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Subnet based Federated Learning for Protecting Global Model

글로벌 모델 보호를 위한 서브모델 기반 연합학습

  • Tae-Hwan Yoon (Dept. of Computer Science and Engineering, Soong-Sil University) ;
  • Bong-Jun Choi (Dept. of Computer Science and Engineering, Soong-Sil University)
  • 윤태환 (숭실대학교 컴퓨터학과) ;
  • 최봉준 (숭실대학교 컴퓨터학과)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

연합학습은 분산된 환경에서 데이터의 공유 없이 모델을 학습시킬 수 있는 방법이다. 그 중에서도 Fed-Avg 는 분산된 클라이언트의 파라미터의 평균으로 모델을 수집하고 반영한다. 이 방법을 통해 연합학습의 모델의 연구가 발전되었으며, 모델성능을 향상시키기 위한 연구들이 꾸준히 진행되어왔다. 기존의 연합학습은 데이터를 공유하지 않고 모델 파라미터만을 서버로 전송하는 방식을 채택하여 데이터의 노출을 최소화하였다. 그러나 지역학습을 위해 서버가 클라이언트들에게 모델을 공유해야 하기 때문에 모델의 노출은 불가피할 수밖에 없다. 특정 분야에서는 데이터 노출 뿐만 아니라 모델의 노출을 보호하는 것 또한 중요한 분야도 있다. 본 논문에서는 이런 문제를 해결하기 위해 서브모델을 활용한 연합학습 보간 방법을 제시하였다. 이 방법은 지식증류 방법 기반에서의 새로운 모델 학습 방법을 제시한다. 실험에서 기존의 모델이 노출되지 않으면서 노이즈에도 강건하게 모델을 학습시킬 수 있음을 보여주었다.

Keywords

Acknowledgement

본 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2022R1A2C4001270). 또한, 본 연구는 과학기술정보통신부 및 정보통신기획평가원의 융합보안핵심인재양성사업의 연구 결과로 수행되었음 (IITP-2024-RS-2024-00426853).

References

  1. McMahan, et al. "Communication-efficient learning of deep networks from decentralized data.", PMLR, 2017.
  2. Li, Tian, et al. "Federated learning: Challenges, methods, and future directions." IEEE signal processing magazine Vol 37. No 3, 50-60p, 2020.
  3. Zhang, Lin, et al. "Fine-tuning global model via data-free knowledge distillation for non-iid federated learning." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.
  4. Zhang, Li, et al. "Homomorphic encryption-based privacy-preserving federated learning in IoT-enabled healthcare system." IEEE Transactions on Network Science and Engineering Vol 10, No 5, 2864-2880p, 2022.
  5. Zhu, et al. "Data-free knowledge distillation for heterogeneous federated learning." , PMLR, 2021.
  6. Li, Daliang, and Junpu Wang. "Fedmd: Heterogenous federated learning via model distillation." arXiv preprint arXiv:1910.03581, 2019.
  7. Schmidt, Philip, et al. "Introducing wesad, a multimodal dataset for wearable stress and affect detection." Proceedings of the 20th ACM international conference on multimodal interaction. 2018.