Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.784-787
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Hierarchical Mixture-of-Experts for Edge Device in Federated Learning

연합 학습에서 엣지 디바이스를 위한 계층적 전문가 혼합

  • Jae-Heon Kim (Dept. of Computer Science and Engineering, Soongsil University) ;
  • Bong-Jun Choi (Dept. of Computer Science and Engineering, Soongsil University)
  • 김재헌 (숭실대학교 컴퓨터학과 ) ;
  • 최봉준 (숭실대학교 컴퓨터학과)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

연합 학습은 최근 기계 학습 분야에서 발생할 수 있는 다양한 문제들을 해결했지만, 학습의 주체가 서버에서 클라이언트로 이동함에 따라 클라이언트 장치의 컴퓨팅 자원의 한계가 새로운 문제로 부각되었다. 클라이언트의 장치는 중앙 집중적 서버와 비교하여 상대적으로 적은 컴퓨팅 자원을 보유하고 있으며, 특히 엣지 디바이스와 같은 클라이언트의 장치는 현저히 적은 컴퓨팅 자원으로 인해 일반적인 연합 학습 절차에 효과적으로 참여하기 어렵다. 본 연구는 클래스 계층 구조와 계층적 전문가 혼합을 통해 엣지 디바이스가 연합학습에 효과적으로 참여할 수 있도록 하였다. 이 기법은 CIFAR-100 과 Tiny ImageNet 데이터셋을 통해 효용성을 입증하였으며, 기존 기법과 비교해 라운드당 학습 시간과 메모리 사용량이 낮음을 보인다.

Keywords

Acknowledgement

본 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2022R1A2C4001270). 또한, 본 연구는 과학기술정보통신부 및 정보통신기획평가원의 융합보안핵심인재양성사업의 연구 결과로 수행되었음 (IITP-2024-RS-2024-00426853).

References

  1. MCMAHAN, Brendan, et al. Communication-efficient learning of deep networks from decentralized data. Artificial intelligence and statistics. Fort Lauderdale, Florida, USA. PMLR, 2017. p. 1273-1282.
  2. Li, Tian, et al. "Federated optimization in heterogeneous networks." Proceedings of Machine learning and systems 2 (2020): 429-450.
  3. Dong, Jiahua, et al. Federated class-incremental learning. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New Orleans, Louisiana, USA. 2022. p. 10164-10173.
  4. Valmadre, Jack. "Hierarchical classification at multiple operating points." Advances in Neural Information Processing Systems. New Orleans, Louisiana, USA. 35 (2022): 18034-18045.
  5. Krizhevsky, Alex, and Geoffrey Hinton. "Learning multiple layers of features from tiny images." (2009): 7.
  6. Le, Ya, and Xuan Yang. "Tiny imagenet visual recognition challenge." CS 231N 7.7 (2015): 3.
  7. Deng, Jia, et al. Imagenet: A large-scale hierarchical image database. 2009 IEEE conference on computer vision and pattern recognition. Miami, Florida, USA Ieee, 2009. p. 248-255.
  8. Fellbaum, Christiane. "WordNet: An electronic lexical database." MIT Press google schola 2 (1998): 678-686..