• 제목/요약/키워드: 분산학습

검색결과 539건 처리시간 0.033초

학습방법을 이용한 분산통합검색시스템의 설계 (A Design of Distributed Information Retrieval System using Learning Method)

  • 강무영;이민호;주원균
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.133-135
    • /
    • 2002
  • 본 논문에서는 여러 가지 분산통합 검색 방법 중 학습을 이용한 분산통합 검색 시스템을 설계한다. 분산통합 검색시스템의 여러 가지 이슈 중 결과통합 문제에 주안점을 두었으며, 설계목적은 다양한 학습방법을 적용한 검색 결과 통합 실험을 위함이다. 이러한 목적을 달성하기 위하여 확장성을 고려한 모듈화를 통한 설계를 적용하여 다양한 실험과 향후 컬렉션 선택모듈, 질의변환 모들도 삽입이 가능하도록 설계하였다.

  • PDF

연합학습 환경에서 클라이언트 선택의 최적화 기법

  • 박민정;손영진;채상미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.722-723
    • /
    • 2023
  • 연합학습은 중앙 서버에서 데이터를 수집하는 방식이 아닌 로컬 디바이스 또는 클라이언트에서 학습을 진행하고 중앙 서버로 모델 업데이트만 전송하는 분산 학습 기법으로 데이터 보안 및 개인정보보호를 강화하는 동시에 효율적인 분산 학습을 수행할 수 있다. 그러나, 연합학습 대부분의 시나리오는 클라이언트의 서로 다른 분포 형태인 non-IID 데이터를 대상으로 학습함에 따라 중앙집중식 모델에 비하여 낮은 성능을 보이게 된다. 이에 본 연구에서는 연합학습 모델의 성능을 개선하기 위하여 non-IID 의 환경에서 참여 후보자 중에서 적합한 클라이언트 선택의 최적화 기법을 분석한다.

쿠버네티스에서 분산 학습 작업 성능 향상을 위한 오토스케일링 기반 동적 자원 조정 오퍼레이터 (Dynamic Resource Adjustment Operator Based on Autoscaling for Improving Distributed Training Job Performance on Kubernetes)

  • 정진원;유헌창
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권7호
    • /
    • pp.205-216
    • /
    • 2022
  • 딥러닝 분산 학습에 사용되는 많은 도구 중 하나는 컨테이너 오케스트레이션 도구인 쿠버네티스에서 실행되는 큐브플로우이다. 그리고 큐브플로우에서 기본적으로 제공하는 오퍼레이터를 사용하여 텐서플로우 학습 작업을 관리할 수 있다. 하지만 파라미터 서버 아키텍처 기반의 딥러닝 분산 학습 작업을 고려할 때 기존의 오퍼레이터가 사용하는 스케줄링 정책은 분산학습 작업의 태스크 친화도를 고려하지 않으며 자원을 동적으로 할당하거나 해제하는 기능을 제공하지 않는다. 이는 작업의 완료 시간이 오래 걸리거나 낮은 자원 활용률로 이어질 수 있다. 따라서 본 논문에서는 작업의 완료 시간을 단축시키고 자원 활용률을 높이기 위해 딥러닝 분산 학습 작업을 효율적으로 스케줄링하는 새로운 오퍼레이터를 제안한다. 기존 오퍼레이터를 수정하여 새로운 오퍼레이터를 구현하고 성능 평가를 위한 실험을 수행한 결과, 제안한 스케줄링 정책은 평균 작업 완료 시간 감소율을 최대 84%, 평균 CPU 활용 증가율을 최대 92%까지 향상시킬 수 있음을 보여준다.

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

서비스 메시 환경에서 강화학습을 이용한 트래픽 부하 분산 메커니즘에 관한 연구 (Reinforcement Learning-based Traffic Load Balancing in Service Mesh Environments)

  • 김채호;남재현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.839-842
    • /
    • 2024
  • 서비스 메시 환경에서의 트래픽 분산은 시스템의 성능과 안정성, 그리고 보안에 필수적인 기능을 담당한다. 현재의 트래픽 분산 방식들은 대부분 정적 설정을 기반으로 하기 때문에 시스템 환경의 변화에 신속하게 대응하기 어렵고 최적화된 성능을 보장하기 힘들다. 본 논문에서는 강화학습을 활용해 서비스 메시 환경 내에서의 트래픽 분산을 자동화하고 최적화할 수 있는 새로운 시스템을 제안한다. 특히, 텔레메트리 기술을 활용해 트래픽의 분산을 실시간으로 추적하며, 강화학습 알고리즘을 이용해 트래픽 가중치를 조정함으로써 기존의 로드 밸런싱 방법들에 비해 더 빠른 처리 시간과 보다 효율적인 로드 밸런싱을 달성할 수 있을 것으로 기대한다.

분산추정에 의한 LVQ 신경회로망의 최적 출력뉴런 분할에 관한 연구 (A Study on Optimal Output Neuron Allocation of LVQ Neural Network using Variance Estimation)

  • 정준원;조성원
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1996년도 추계학술대회 학술발표 논문집
    • /
    • pp.239-242
    • /
    • 1996
  • 본 논문에서는 BP(Back Propagation)에 비해서 빠른 학습시간과 다른 경쟁학습 신경회로망 알고리즘에 비해서 비교적 우수한 성능으로 패턴인식 등에 많이 이용되고 있는 LVQ(Learning Vector Quantization) 알고리즘의 성능을 향상시키기 위한 방법을 논의하고자 한다. 일반적으로 LVQ는 음(negative)의 학습을 하기 때문에 초기 가중치가 제대로 설정되지 않으면 발산할 수 있다는 단점이 있으며, 경쟁학습 계열의 신경망이기 때문에 출력 층의 뉴런 수에 따라 성능에 큰 영향을 받는다고 알려져 있다.[1]. 지도학습 형태를 지닌 LVQ의 경우에 학습패턴이 n개의 클래스를 가지고, 각 클래스 별로 학습패턴의 수가 같은 경우에 일반적으로 전체 출력뉴런에 대해서 (출력뉴런수/n)개의 뉴런을 각 클래스의 목표(desired) 클러스터로 할당하여 학습을 수행하는데, 본 논문에서는 각 클래스에 동일한 수의 출력뉴런을 할당하지 않고, 학습데이터에서 각 클래스의 분산을 추정하여 각 클래스의 분산을 추정분산에 비례하게 목표 출력뉴런을 할당하고, 초기 가중치도 추정분산에 비례하게 각 클래스의 초기 임의 위치 입력백터를 사용하여 학습을 수행하는 방법을 제안한다. 본 논문에서 제안하는 방법은 분류하고자 하는 데이터에 대해서 필요한 최적의 출력뉴런 수를 찾는 것이 아니라 이미 결정되어 있는 출력뉴런 수에 대해서 각 클래스에 할당할 출력 뉴런 수를 데이터의 추정분산에 의해서 결정하는 것으로, 추정분산이 크면 상대적으로 많은 출력 뉴런을 할당하고 작으면 상대적으로 적은 출력뉴런을 할당하고 초기 가중치도 마찬가지 방법으로 결정하며, 이렇게 하면 정해진 출력뉴런 개수 안에서 각 클래스 별로 분류의 어려움에 따라서 출력뉴런을 할당하기 때문에 미학습 뉴런이 줄어들게 되어 성능의 향상을 기대할 수 있으며, 실험적으로 제안된 방법이 더 나은 성능을 보임을 확인했다.initially they expected a more practical program about planting than programs that teach community design. Many people are active in their own towns to create better environments and communities. The network system "Alpha Green-Net" is functional to support graduates of the course. In the future these educational programs for citizens will becomes very important. Other cities are starting to have their own progrms, but they are still very short term. "Alpha Green-Net" is in the process of growing. Many members are very keen to develop their own abilities. In the future these NPOs should become independent. To help these NPOs become independent and active the educational programs should consider and teach about how to do this more in the future.단하였는데 그 결과, 좌측 촉각엽에서 제4형의 신경연접이 퇴행성 변화를 나타내었다. 그러므로 촉각의 지각신경세포는 뇌의 같은 족 촉각엽에 뻗어와 제4형 신경연접을 형성한다고 결론되었다.$/ 값이 210 $\mu\textrm{g}$/$m\ell$로서 효과적인 저해 활성을 나타내었다 따라서, 본 연구에서 빈

  • PDF

A Study of Collaborative and Distributed Multi-agent Path-planning using Reinforcement Learning

  • Kim, Min-Suk
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권3호
    • /
    • pp.9-17
    • /
    • 2021
  • 동적 시스템 환경에서 지능형 협업 자율 시스템을 위한 기계학습 기반의 다양한 방법들이 연구 및 개발되고 있다. 본 연구에서는 분산 노드 기반 컴퓨팅 방식의 자율형 다중 에이전트 경로 탐색 방법을 제안하고 있으며, 지능형 학습을 통한 시스템 최적화를 위해 강화학습 방법을 적용하여 다양한 실험을 진행하였다. 강화학습 기반의 다중 에이전트 시스템은 에이전트의 연속된 행동에 따른 누적 보상을 평가하고 이를 학습하여 정책을 개선하는 지능형 최적화 기계학습 방법이다. 본 연구에서 제안한 방법은 강화학습 기반 다중 에이전트 최적화 경로 탐색 성능을 높이기 위해 학습 초기 경로 탐색 방법을 개선한 최적화 방법을 제안하고 있다. 또한, 분산된 다중 목표를 구성하여 에이전트간 정보 공유를 이용한 학습 최적화를 시도하였으며, 비동기식 에이전트 경로 탐색 기능을 추가하여 실제 분산 환경 시스템에서 일어날 수 있는 다양한 문제점 및 한계점에 대한 솔루션을 제안하고자 한다.

분산학습알고리듬의 이론적 분석 (Theoretical Analysis on the Variance Learning Algorithm)

  • 조영빈;권대갑
    • 한국정밀공학회지
    • /
    • 제14권10호
    • /
    • pp.141-150
    • /
    • 1997
  • 분산은 확률모델을 표현하는 유용한 변수중 하나이다. 입력변수에 대한 함수로 표현되는 조건부 분산을 학습하는 신경회로망에 대한 많은 연구가 있어왔다. VALEAN이라는 신경회로망 역시 이러한 많은 연구중 하나인데 이것은 기본적으로 feedforward 다층 퍼셉트론 구조를 가지며 새롭게 제시된 에너지 함수를 사용하고 있다. 이 논문에서는 이 에너지 모델에 의해 결정되는 피드백에러(델타)가 신경망의 transient, steady state에서 미치는 영향을 다루었다. 과도 상태 분석에서는 델타와 수렴성, 안정성에 관한 내용을 다루고 모의 실험을 하였으며 정상 상태 분석에서는 신경회로망의 정상상태 에러의 크기와 델타의 크기사이의 상관관계에 대하여 다루었다. 학습 알고 리듬이 확률적이므로 정상상태 역시 확률적인 상태를 나타낸다. 따라서 델타의 크기에 따른 정상 상태 에러의 최대치는 확률적인 모델을 가지게 된다. 여기서는 이 확률 관계를 분석적으로 규명하고 이에 따라 원하는 신뢰도로 정상 상태 에러를 제어하기 위해 필요한 델타의 크기를 예측할 수 있는 이론적 배경을 마련하게 된다.

  • PDF

분산 인공지능 학습 기반 작업증명 합의알고리즘 (Distributed AI Learning-based Proof-of-Work Consensus Algorithm)

  • 채원부;박종서
    • 한국빅데이터학회지
    • /
    • 제7권1호
    • /
    • pp.1-14
    • /
    • 2022
  • 대부분의 블록체인이 사용하는 작업증명 합의 알고리즘은 채굴이라는 형태로 대규모의 컴퓨팅리소스 낭비를 초래하고 있다. 작업증명의 컴퓨팅리소스 낭비를 줄이기 위해 유용한 작업증명 합의 알고리즘이 연구 되었으나 여전히 블록 생성 시 리소스 낭비와 채굴의 중앙화 문제가 존재한다. 본 논문에서는 블록생성을 위한 상대적으로 비효율적인 연산 과정을 분산 인공지능 모델 학습으로 대체하여 블록생성 시 리소스 낭비문제를 해결하였다. 또한 학습 과정에 참여한 노드들에게 공평한 보상을 제공함으로써 컴퓨팅파워가 약한 노드의 참여 동기를 부여했고, 기존 중앙 집중 인공지능 학습 방식에 근사한 성능은 유지하였다. 제안된 방법론의 타당성을 보이기 위해 분산 인공지능 학습이 가능한 블록체인 네트워크를 구현하여 리소스 검증을 통한 보상 분배를 실험 하였고, 기존 중앙 학습 방식과 블록체인 분산 인공지능 학습 방식의 결과를 비교하였다. 또한 향후 연구로 블록체인 메인넷과 인공지능 모델 확장 시 발생 할 수 있는 문제점과 개발 방향성을 제시함으로서 논문을 마무리 하였다.

분류자 시스템과 인공면역네트워크를 이용한 자율 분산 로봇시스템 개발 (Development of Distributed Autonomous Robotic Systerrt Based on Classifier System and Artificial Immune Network)

  • 심귀보;황철민
    • 한국지능시스템학회논문지
    • /
    • 제14권6호
    • /
    • pp.699-704
    • /
    • 2004
  • 본 논문에서는 인공 면역 시스템과 분류자 시스템에 기반하여 동작하는 자율분산로봇 시스템을 제안한다. 시스템에서 로봇들의 행동은 전역행동과 지역행동으로 분류된다. 전역행동은 환경에서 작업을 탐색하는데 이를 빠르게 수행하기 위하여 집합과 분산의 두 가지 행동으로 이루어져 있다 이때 인공 면역 시스템은 로봇이 어떤 행동을 선택하여 행동할 것인가를 결정한다. 지역행동은 탐색된 작업을 수행하는 부분으로서 어떤 로봇들이 협조행동을 할지를 학습하고, 학습한 결과에 따라 작업을 수행하는 행동을 한다. 이를 위해 분류자 시스템을 이용하여 각 로봇들은 주어진 작업에 대하여 학습을 한다. 제안된 시스템에서 학습 알고리즘은 주어지는 작업의 변화로봇들은 주어진 작업을 수행하기 위해 학습을 하고, 주어진 작업이 변할 경우 스스로 대처한다는 면에서 기존의 자율 분산 시스템보다 적응성에서 향상된 시스템이다.