DOI QR코드

DOI QR Code

Learning Unified and Robust Representations across Various Tasks within a Federated Learning Environment

연합 학습 환경에서 통합되고 강인한 다중 작업 학습 기법

  • Ankit Kumar Singh (School of Computer Science and Engineering, Soongsil University) ;
  • Subeen Choi (School of Computer Science and Engineering, Soongsil University) ;
  • Bong Jun Choi (School of Computer Science and Engineering, Soongsil University)
  • Published : 2024.05.23

Abstract

현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.

Keywords

Acknowledgement

본 성과는 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구이며(NRF-2022R1A2C4001270), 과학기술정보통신부 및 정보통신기획평가원의 대학 ICT 연구센터육성지원사업의 연구결과로 수행되었음 (IITP-2022-2020-0-01602).

References

  1. Brendan McMahan, et al. "Communication-efficient learning of deep networks from decentralized data", Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, 2017, 1273-1282.
  2. Chen, Ting, et al. "A simple framework for contrastive learning of visual representations", Proceedings of the IEEE conference on computer vision and pattern recognition, 2020, 1597-1607.
  3. He, Kaiming, et al. "Deep residual learning for image recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 770-778.
  4. Nilsback, Maria-Elena, and Andrew Zisserman. "Automated flower classification over a large number of classes." 2008 Sixth Indian conference on computer vision, graphics & image processing. IEEE, 2008. (https://www.robots.ox.ac.uk/~vgg/data/flowers/102/)
  5. Puneet Bansal, "Intel Image Classification.", Kaggle, Jun 2019, https://www.kaggle.com/datasets/puneet6060/intel-image-classification, accessed: Apr 2024.