한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)

한국정보처리학회 (Korea Information Processing Society)
권호 표지

연합 학습 환경에서 통합되고 강인한 다중 작업 학습 기법

Learning Unified and Robust Representations across Various Tasks within a Federated Learning Environment

  • 안킷 쿠마 싱 (숭실대학교 컴퓨터학과) ;
  • 최수빈 (숭실대학교 컴퓨터학과) ;
  • 최봉준 (숭실대학교 컴퓨터학과)
  • Ankit Kumar Singh (School of Computer Science and Engineering, Soongsil University) ;
  • Subeen Choi (School of Computer Science and Engineering, Soongsil University) ;
  • Bong Jun Choi (School of Computer Science and Engineering, Soongsil University)
  • 발행 : 2024.05.23
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.

키워드

과제정보

본 성과는 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구이며(NRF-2022R1A2C4001270), 과학기술정보통신부 및 정보통신기획평가원의 대학 ICT 연구센터육성지원사업의 연구결과로 수행되었음 (IITP-2022-2020-0-01602).

참고문헌

  1. Brendan McMahan, et al. "Communication-efficient learning of deep networks from decentralized data", Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, 2017, 1273-1282.
  2. Chen, Ting, et al. "A simple framework for contrastive learning of visual representations", Proceedings of the IEEE conference on computer vision and pattern recognition, 2020, 1597-1607.
  3. He, Kaiming, et al. "Deep residual learning for image recognition", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 770-778.
  4. Nilsback, Maria-Elena, and Andrew Zisserman. "Automated flower classification over a large number of classes." 2008 Sixth Indian conference on computer vision, graphics & image processing. IEEE, 2008. (https://www.robots.ox.ac.uk/~vgg/data/flowers/102/)
  5. Puneet Bansal, "Intel Image Classification.", Kaggle, Jun 2019, https://www.kaggle.com/datasets/puneet6060/intel-image-classification, accessed: Apr 2024.