• Title/Summary/Keyword: Federated learning

Search Result 70, Processing Time 0.028 seconds

연합 학습 환경에서 통합되고 강인한 다중 작업 학습 기법 (Learning Unified and Robust Representations across Various Tasks within a Federated Learning Environment)

  • 안킷 쿠마 싱;최수빈;최봉준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.798-800
    • /
    • 2024
  • 현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.

  • PDF

A many-objective evolutionary algorithm based on integrated strategy for skin cancer detection

  • Lan, Yang;Xie, Lijie;Cai, Xingjuan;Wang, Lifang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권1호
    • /
    • pp.80-96
    • /
    • 2022
  • Nowadays, artificial intelligence promotes the rapid development of skin cancer detection technology, and the federated skin cancer detection model (FSDM) and dual generative adversarial network model (DGANM) solves the fragmentation and privacy of data to a certain extent. To overcome the problem that the many-objective evolutionary algorithm (MaOEA) cannot guarantee the convergence and diversity of the population when solving the above models, a many-objective evolutionary algorithm based on integrated strategy (MaOEA-IS) is proposed. First, the idea of federated learning is introduced into population mutation, the new parents are generated through sub-populations employs different mating selection operators. Then, the distance between each solution to the ideal point (SID) and the Achievement Scalarizing Function (ASF) value of each solution are considered comprehensively for environment selection, meanwhile, the elimination mechanism is used to carry out the select offspring operation. Eventually, the FSDM and DGANM are solved through MaOEA-IS. The experimental results show that the MaOEA-IS has better convergence and diversity, and it has superior performance in solving the FSDM and DGANM. The proposed MaOEA-IS provides more reasonable solutions scheme for many scholars of skin cancer detection and promotes the progress of intelligent medicine.

지식 증류 기반 연합학습의 강건성 평가 (A Evaluation on Robustness of Knowledge Distillation-based Federated Learning)

  • 조윤기;한우림;유미선;윤수빈;백윤흥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.666-669
    • /
    • 2024
  • 연합학습은 원본 데이터를 공유하지 않고 모델을 학습할 수 있는 각광받는 프라이버시를 위한 학습방법론이다. 이를 위해 참여자의 데이터를 수집하는 대신, 데이터를 인공지능 모델 학습의 요소들(가중치, 기울기 등)로 변환한 뒤, 이를 공유한다. 이러한 강점에 더해 기존 연합학습을 개선하는 방법론들이 추가적으로 연구되고 있다. 기존 연합학습은 모델 가중치를 평균내는 것으로 참여자 간에 동일한 모델 구조를 강요하기 때문에, 참여자 별로 자신의 환경에 알맞은 모델 구조를 사용하기 어렵다. 이를 해결하기 위해 지식 증류 기반의 연합학습 방법(Knowledge Distillation-based Federated Learning)으로 서로 다른 모델 구조를 가질 수 있도록(Model Heterogenousity) 하는 방법이 제시되고 있다. 연합학습은 여러 참여자가 연합하기 때문에 일부 악의적인 참여자로 인한 모델 포이즈닝 공격에 취약하다. 수많은 연구들이 기존 가중치를 기반으로한 연합학습에서의 위협을 연구하였지만, 지식 증류 기반의 연합학습에서는 이러한 위협에 대한 조사가 부족하다. 본 연구에서는 최초로 지식 증류 기반의 연합학습에서의 모델 성능 하락 공격에 대한 위협을 실체화하고자 한다. 이를 위해 우리는 GMA(Gaussian-based Model Poisoning Attack)과 SMA(Sign-Flip based Model Poisoning Attack)을 제안한다. 결과적으로 우리가 제안한 공격 방법은 실험에서 최신 학습 기법에 대해 평균적으로 모델 정확도를 83.43%에서 무작위 추론에 가깝게 떨어뜨리는 것으로 공격 성능을 입증하였다. 우리는 지식 증류 기반의 연합학습의 강건성을 평가하기 위해, 새로운 공격 방법을 제안하였고, 이를통해 현재 지식 증류 기반의 연합학습이 악의적인 공격자에 의한 모델 성능 하락 공격에 취약한 것을 보였다. 우리는 방대한 실험을 통해 제안하는 방법의 성능을 입증하고, 결과적으로 강건성을 높이기 위한 많은 방어 연구가 필요함을 시사한다.

  • PDF

분산 부호의 결합 기법 (Combination Methods for Distribution Codes)

  • 정진호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.365-366
    • /
    • 2022
  • 분산 부호는 프라이버시를 위한 코딩, 연합 학습 등에 사용될 수 있는 선형 부호의 일종이다. 분산 부호에서는 각 부호들의 정보가 다른 부호들과 포함 관계에 있지 않기 때문에 프라이버시나 기밀 정보가 종속되지 않는다. 본 논문에서는 이러한 분산 부호들의 속성을 살펴 보고, 기존에 알려진 분산 부호들로부터 새로운 형태의 분산 부호를 합성하는 기법들을 제시한다. 또한, 합성된 부호들이 사용될 수 있는 여러 시나리오들을 살펴본다.

  • PDF

AI Bots를 위한 멀티에이전트 협업 기술 동향 (Research Trends of Multi-agent Collaboration Technology for Artificial Intelligence Bots)

  • 강동오;정준영;이천희;박민호;이전우;이용주
    • 전자통신동향분석
    • /
    • 제37권6호
    • /
    • pp.32-42
    • /
    • 2022
  • Recently, decentralized approaches to artificial intelligence (AI) development, such as federated learning are drawing attention as AI development's cost and time inefficiency increase due to explosive data growth and rapid environmental changes. Collaborative AI technology that dynamically organizes collaborative groups between different agents to share data, knowledge, and experience and uses distributed resources to derive enhanced knowledge and analysis models through collaborative learning to solve given problems is an alternative to centralized AI. This article investigates and analyzes recent technologies and applications applicable to the research of multi-agent collaboration of AI bots, which can provide collaborative AI functionality autonomously.

미국 대학도서관의 수업지원 시스템과 연계한 맞춤형 정보검색 서비스에 대한 고찰 - 머레이 주립 대학(MSU)의 사례를 중심으로 - (Introducing an Integrated Library Information Service with Learning Management System: Library on Blackboard from Murray State University Libraries)

  • 김동완
    • 한국문헌정보학회지
    • /
    • 제44권2호
    • /
    • pp.29-50
    • /
    • 2010
  • 본 연구는 미국 켄터키 주에 소재한 머레이 주립대(Murray State University)가 제공하고 있는 주제별 맞춤형 정보제공(Library on Blackboard) 시스템의 기능들을 중심으로 현존하는 대학도서관 서비스가 온라인상에서 어떠한 정보기술을 통해 변형되어 제공될 수 있는지를 살펴보았다. 정보기술의 발달로 인하여 미국 대학교육에서 온라인 강의와 원거리 교육의 비중이 점점 늘어나는 추세이다. LMS(Learning Management System)는 새로운 대학 환경변화의 중요한 도구이다. 대학도서관의 정보제공 기능도 대학교육 환경의 변화에 발맞추어 발전해 왔고, 이에 따라 이용자에게 효과적인 서비스를 제공하기 위한 LMS와 연계한 맞춤형 정보검색 시스템을 개발하기에 이르렀다. LMS와 연계한 도서관 서비스는 학생들의 연구형 과제해결을 위한 정보수집에 적합한 검색시스템과 유용한 정보들을 한곳에 모은 가상 분관의 기능을 제공하기에 더욱 사용되고 발전해야 한다. 이 시스템을 더욱 발전시키기 위해서는 Contents Management Systems의 사용과 과목별 접근방식으로 변환이 중요하다.

Overcoming the Challenges in the Development and Implementation of Artificial Intelligence in Radiology: A Comprehensive Review of Solutions Beyond Supervised Learning

  • Gil-Sun Hong;Miso Jang;Sunggu Kyung;Kyungjin Cho;Jiheon Jeong;Grace Yoojin Lee;Keewon Shin;Ki Duk Kim;Seung Min Ryu;Joon Beom Seo;Sang Min Lee;Namkug Kim
    • Korean Journal of Radiology
    • /
    • 제24권11호
    • /
    • pp.1061-1080
    • /
    • 2023
  • Artificial intelligence (AI) in radiology is a rapidly developing field with several prospective clinical studies demonstrating its benefits in clinical practice. In 2022, the Korean Society of Radiology held a forum to discuss the challenges and drawbacks in AI development and implementation. Various barriers hinder the successful application and widespread adoption of AI in radiology, such as limited annotated data, data privacy and security, data heterogeneity, imbalanced data, model interpretability, overfitting, and integration with clinical workflows. In this review, some of the various possible solutions to these challenges are presented and discussed; these include training with longitudinal and multimodal datasets, dense training with multitask learning and multimodal learning, self-supervised contrastive learning, various image modifications and syntheses using generative models, explainable AI, causal learning, federated learning with large data models, and digital twins.

블록체인 기반 연합학습을 위한 레퍼런스 아키텍처 (A Reference Architecture for Blockchain-based Federated Learning)

  • 고은수;문종현;이광기;손채봉
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.119-122
    • /
    • 2022
  • 연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

  • PDF

연합 학습을 이용한 개인 맞춤형 방송 정보 제공 플랫폼 연구 (A Study of Federated Learning base Broadcast Information recommendation platform)

  • 김현수;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.658-660
    • /
    • 2022
  • 본 논문은 개인의 정보를 외부로 유출하지 않고, 소비자 방송 수신 단말 장치에 저장된 데이터를 이용하여 머신 러닝 모델을 학습하고, 소비자가 원하는 맞춤 방송 정보를 제공하는 시스템을 구글의 연합 학습[1] 을 기반한 설계에 관한 것이다. 이를 위하여, 소비자 사용 패턴 및 행동 데이터를 수집하고 저장하며 머신 러닝 학습을 진행 하는 단말 구조와 단말에서 생성된 학습 모델 파라미터 정보를 수집하고 평균화 하는 중앙 서버의 구조를 연구하고, 연합 학습을 이용한 학습 정보를 이용하여 개인 맞춤형 방송 정보를 제공하는 시스템을 연구한다.

연합학습 기반 전력 중개용 태양광 발전 예측 (Prediction of solar power generation for power brokerage based on Federated Learning)

  • 이미리내;염성웅;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.577-579
    • /
    • 2022
  • 최근 대두된 환경문제로 인해 다양한 재생 에너지의 실리적인 활용 방법에 귀추가 주목되고 있다. 특히 '그린뉴딜', 'K-RE100' 등 정부 주도의 정책으로 태양광 발전 시장 규모가 확대되면서, 소규모 발전 사업자의 태양광 발전 참여율도 매년 증가 추세를 보이고 있다. 이로 인해 소규모 발전 사업자의 수익을 산정하는 전력 중개 시스템의 태양광 발전 예측은 에너지 시장의 핵심요소로 부각되었다. 하지만 전력 중개용 태양광 발전 예측에는 기후의 간헐성으로 인한 예측 정확도 감소, 소규모 발전 사업자의 개인정보 보호 등 제약이 존재한다. 이 논문에서는 전력 중개용 태양광 발전 예측의 제약을 해소하고, 전력 중개 활성화를 지원키 위한 CNN-LSTM 기반 연합학습 기법을 제안한다.