• Journal of Internet Computing and Services
• /
• v.24 no.4
• /
• pp.1-13
• /
• 2023

As federated learning brings a large paradigm to modern artificial intelligence research, efforts are being made to incorporate federated learning into research in various fields. However, researchers who apply federated learning face the problem of choosing a federated learning framework and benchmark tool suitable for their situation and purpose. This study aims to present guidelines for selection of federated learning frameworks and benchmark tools considering the circumstances of researchers who apply federated learning in practice. In particular, there are three main contributions in this study. First, it generalizes the situation of the researcher applying federated learning by combining it with the goal of federated learning and proposes guidelines for selecting a federated learning framework suitable for each situation. Second, it shows the suitability of selection by comparing the characteristics and performance of each federated learning framework to the researcher. Finally, the limitations of the existing federated learning framework and a plan for real-world federated learning operation are proposed.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.119-122
• /
• 2022

연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.666-669
• /
• 2024

연합학습은 원본 데이터를 공유하지 않고 모델을 학습할 수 있는 각광받는 프라이버시를 위한 학습방법론이다. 이를 위해 참여자의 데이터를 수집하는 대신, 데이터를 인공지능 모델 학습의 요소들(가중치, 기울기 등)로 변환한 뒤, 이를 공유한다. 이러한 강점에 더해 기존 연합학습을 개선하는 방법론들이 추가적으로 연구되고 있다. 기존 연합학습은 모델 가중치를 평균내는 것으로 참여자 간에 동일한 모델 구조를 강요하기 때문에, 참여자 별로 자신의 환경에 알맞은 모델 구조를 사용하기 어렵다. 이를 해결하기 위해 지식 증류 기반의 연합학습 방법(Knowledge Distillation-based Federated Learning)으로 서로 다른 모델 구조를 가질 수 있도록(Model Heterogenousity) 하는 방법이 제시되고 있다. 연합학습은 여러 참여자가 연합하기 때문에 일부 악의적인 참여자로 인한 모델 포이즈닝 공격에 취약하다. 수많은 연구들이 기존 가중치를 기반으로한 연합학습에서의 위협을 연구하였지만, 지식 증류 기반의 연합학습에서는 이러한 위협에 대한 조사가 부족하다. 본 연구에서는 최초로 지식 증류 기반의 연합학습에서의 모델 성능 하락 공격에 대한 위협을 실체화하고자 한다. 이를 위해 우리는 GMA(Gaussian-based Model Poisoning Attack)과 SMA(Sign-Flip based Model Poisoning Attack)을 제안한다. 결과적으로 우리가 제안한 공격 방법은 실험에서 최신 학습 기법에 대해 평균적으로 모델 정확도를 83.43%에서 무작위 추론에 가깝게 떨어뜨리는 것으로 공격 성능을 입증하였다. 우리는 지식 증류 기반의 연합학습의 강건성을 평가하기 위해, 새로운 공격 방법을 제안하였고, 이를통해 현재 지식 증류 기반의 연합학습이 악의적인 공격자에 의한 모델 성능 하락 공격에 취약한 것을 보였다. 우리는 방대한 실험을 통해 제안하는 방법의 성능을 입증하고, 결과적으로 강건성을 높이기 위한 많은 방어 연구가 필요함을 시사한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.780-783
• /
• 2024

본 논문에서는 지속적으로 최적화된 인공지능 모델을 적용하기 위한 방안으로 연합 학습(Federated Learning)을 활용한 접근법을 제시한다. 최근 다양한 산업 분야에서 인공지능 활용에 대한 필요성이 증가하고 있다. 금융과 같은 일부 산업은 강력한 보안, 높은 정확도, 규제 준수, 실시간 대응이 요구됨과 동시에 정적 시스템 환경 특성으로 적용된 인공지능 모델의 최적화가 어렵다. 이러한 환경적 한계 해결을 위하여, 연합 학습을 통한 모델의 최적화 방안을 제안한다. 연합 학습은 데이터 프라이버시를 유지하면서 모델의 지속적 최적화를 제공이 가능한 강력한 아키텍처이다. 그러나 연합 학습은 클라이언트와 중앙 서버의 반복적인 통신과 학습으로, 불필요한 자원에 대한 소요가 요구된다. 이러한 연합 학습의 단점 극복을 위하여, 주요도 높은 클라이언트의 선정 및 클라이언트와 중앙 서버의 조기 중단(early stopping) 전략을 통한 지속적, 효율적 최적화가 가능한 연합 학습 모델의 운영 전략을 제시한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.533-534
• /
• 2023

본 논문에서는 불균형하게 분포된(Non-IID) 데이터를 소유하고 있는 데이터 소유자(클라이언트)들을 가정하고, 데이터 소유자들 간 원본 데이터의 직접적인 이동 없이도 딥러닝 학습이 가능하도록 연합학습을 적용하였다. 실험 환경 구성을 위하여 MNIST 손글씨 데이터 세트를 하나의 숫자만 다량 보유하도록 분할하고 각 클라이언트에게 배포하였다. 연합학습을 적용하여 손글씨 분류 모델을 학습하였을 때 정확도는 85.5%, 중앙집중식 학습모델의 정확도는 90.2%로 연합학습 모델이 중앙집중식 모델 대비 약 95% 수준의 성능을 보여 연합학습 시 성능 하락이 크지 않으며 특수한 상황에서 중앙집중식 학습을 대체할 수 있음을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.722-723
• /
• 2023

연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.777-779
• /
• 2024

현대 사회에서 인공지능은 다양한 분야에서 사용되며 발전하고 있다. 특히 의료, 공업, 경제, 농업, 정치 등에 영향을 미치며, 데이터 프라이버시 문제가 빈번히 발생한다. 이를 해결하기 위해 연합학습이 제안되었는데, 이는 로컬 디바이스에서 학습한 모델만을 중앙 서버로 전송하여 프라이버시를 보장하고 효율성을 높인다. 하지만 연합학습은 중앙 서버를 필요로 하므로 탈중앙적인 환경에서는 사용할 수 없는 단점이 있다. 이를 보완하기 위해 본 논문에서는 서버가 없는 다양한 환경에서 연합학습을 적용할 수 있는 비-완전 연결 분산형 연합학습 알고리즘을 소개한다. 비-완전 연결 분산형 연합학습 알고리즘은 모든 노드가 서로 연결 되어있는 상태가 아닌 특정 노드와만 연결 되어있는 형태로 대부분의 실전 분산형 환경에서 사용할 수 있다. 본 방식의 학습 정확도는 일반적인 머신러닝의 정확도와 비교하여 준수한 성능을 보여주고 있다.

• The Journal of Bigdata
• /
• v.5 no.1
• /
• pp.89-96
• /
• 2020

Deep learning using an artificial neural network has been recently researched and developed in various fields such as image recognition, big data and data analysis. However, federated learning has emerged to solve issues of data privacy invasion and problems that increase the cost and time required to learn. Federated learning presented learning techniques that would bring the benefits of distributed processing system while solving the problems of existing deep learning, but there were still problems with server-client system and motivations for providing learning data. So, we replaced the role of the server with a blockchain system in federated learning, and conducted research to solve the privacy and security problems that are associated with federated learning. In addition, we have implemented a blockchain-based system that motivates users by paying compensation for data provided by users, and requires less maintenance costs while maintaining the same accuracy as existing learning. In this paper, we present the experimental results to show the validity of the blockchain-based system, and compare the results of the existing federated learning with the blockchain-based federated learning. In addition, as a future study, we ended the thesis by presenting solutions to security problems and applicable business fields.

• Journal of Internet Computing and Services
• /
• v.23 no.3
• /
• pp.97-110
• /
• 2022

Federated learning is a learning method capable of performing model learning without transmitting learning data. The IoT or healthcare field is sensitive to information leakage as it deals with users' personal information, so a lot of attention should be paid to system design, but when using federated-learning, data does not move from devices where data is collected. Accordingly, many federated-learning implementations have been developed, but detailed research on system design for the development and operation of systems using federated learning is insufficient. This study shows that measures for the life cycle, code version management, model serving, and device monitoring of federated learning are needed to be applied to actual projects and distributed to IoT devices, and we propose a design for a development environment that complements these points. The system proposed in this paper considered uninterrupted model-serving and includes source code and model version management, device state monitoring, and server-client learning schedule management.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.582-584
• /
• 2023

연합학습(Federated Learning)에서는 여러 참가자가 서로 간의 데이터를 공유하지 않고 협력하여 하나의 모델을 학습할 수 있다. 그 중 수직 연합학습(Vertical Federated Learning)은 참가자 간에 동일한 샘플에 대해 서로 다른 특성(Feature)를 가지고 학습한다. 또한 서로 다른 특성(Feature)에는 입력의 라벨(Label)도 포함하기 때문에 라벨을 소유한 참가자 외에는 라벨 정보 또한 접근할 수 없다. 이처럼 다양한 참가자가 학습에 참여하는 경우 악의적인 참가자에 의해 모델이 포이즈닝 될 여지가 존재함에도 불구하고 수직 연합학습에서는 관련 연구가 부족하다. 포이즈닝 공격 중 백도어 공격은 학습 과정에 관여하여 특정 입력 패턴에 대해서 모델이 공격자가 원하는 타겟 라벨로 예측하도록 오염시키는 공격이다. 수직 연합학습에서는 참가자가 학습과 추론 모든 과정에서 관여하기 때문에 백도어 공격에 취약할 수 있다. 본 논문에서는 수직 연합학습에서의 최신 백도어 공격과 한계점에 대해 분석한다.