• 제목/요약/키워드: Distributed Learning Environment

검색결과 140건 처리시간 0.02초

Map-Reduce 프로그래밍 모델 기반의 나이브 베이스 학습 알고리즘 (Naive Bayes Learning Algorithm based on Map-Reduce Programming Model)

  • 강대기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.208-209
    • /
    • 2011
  • 본 논문에서는, 맵-리듀스 모델 기반에서 나이브 베이스 알고리즘으로 학습과 추론을 수행하는 방안에 대해 소개하고자 한다. 이를 위해 Apache Mahout를 이용하여 분산 나이브 베이스 (Distributed Naive Bayes) 학습 알고리즘을 University of California, Irvine (UCI)의 벤치마크 데이터 집합에 적용하였다. 실험 결과, Apache Mahout의 분산 나이브 베이스 학습 알고리즘은 일반적인 WEKA의 나이브 베이스 학습 알고리즘과 그 성능면에서 큰 차이가 없음을 알 수 있었다. 이러한 결과는, 향후 빅 데이터 환경에서 Apache Mahout와 같은 맵-리듀스 모델 기반 시스템이 기계 학습에 큰 기여를 할 수 있음을 나타내는 것이다.

  • PDF

빅데이터를 위한 H-RTGL 기반 단일 분류기 분산 처리 프레임워크 설계 (Design of Distributed Processing Framework Based on H-RTGL One-class Classifier for Big Data)

  • 김도균;최진영
    • 품질경영학회지
    • /
    • 제48권4호
    • /
    • pp.553-566
    • /
    • 2020
  • Purpose: The purpose of this study was to design a framework for generating one-class classification algorithm based on Hyper-Rectangle(H-RTGL) in a distributed environment connected by network. Methods: At first, we devised one-class classifier based on H-RTGL which can be performed by distributed computing nodes considering model and data parallelism. Then, we also designed facilitating components for execution of distributed processing. In the end, we validate both effectiveness and efficiency of the classifier obtained from the proposed framework by a numerical experiment using data set obtained from UCI machine learning repository. Results: We designed distributed processing framework capable of one-class classification based on H-RTGL in distributed environment consisting of physically separated computing nodes. It includes components for implementation of model and data parallelism, which enables distributed generation of classifier. From a numerical experiment, we could observe that there was no significant change of classification performance assessed by statistical test and elapsed time was reduced due to application of distributed processing in dataset with considerable size. Conclusion: Based on such result, we can conclude that application of distributed processing for generating classifier can preserve classification performance and it can improve the efficiency of classification algorithms. In addition, we suggested an idea for future research directions of this paper as well as limitation of our work.

프라이버시를 보호하는 분산 기계 학습 연구 동향 (Systematic Research on Privacy-Preserving Distributed Machine Learning)

  • 이민섭;신영아;천지영
    • 정보처리학회 논문지
    • /
    • 제13권2호
    • /
    • pp.76-90
    • /
    • 2024
  • 인공지능 기술은 스마트 시티, 자율 주행, 의료 분야 등 다양한 분야에서 활용 가능성을 높이 평가받고 있으나, 정보주체의 개인정보 및 민감정보의 노출 문제로 모델 활용이 제한되고 있다. 이에 따라 데이터를 중앙 서버에 모아서 학습하지 않고, 보유 데이터셋을 바탕으로 일차적으로 학습을 진행한 후 글로벌 모델을 최종적으로 학습하는 분산 기계 학습의 개념이 등장하였다. 그러나, 분산 기계 학습은 여전히 협력하여 학습을 진행하는 과정에서 데이터 프라이버시 위협이 발생한다. 본 연구는 분산 기계 학습 연구 분야에서 프라이버시를 보호하기 위한 연구를 서버의 존재 유무, 학습 데이터셋의 분포 환경, 참여자의 성능 차이 등 현재까지 제안된 분류 기준들을 바탕으로 유기적으로 분석하여 최신 연구 동향을 파악한다. 특히, 대표적인 분산 기계 학습 기법인 수평적 연합학습, 수직적 연합학습, 스웜 학습에 집중하여 활용된 프라이버시 보호 기법을 살펴본 후 향후 진행되어야 할 연구 방향을 모색한다.

분포 기여도를 이용한 퍼지 Q-learning (Fuzzy Q-learning using Distributed Eligibility)

  • 정석일;이연정
    • 한국지능시스템학회논문지
    • /
    • 제11권5호
    • /
    • pp.388-394
    • /
    • 2001
  • 강화학습은 에이전트가 환경과의 상호작용을 통해 획득한 경험으로부터 제어 규칙을 학습하는 방법이다. 강화학습의 중요한 문제 중의 하나인 신뢰 할당 문제를 해결하기 위해 기여도가 사용되는데, 누적 기여도나 대체 기여도와 같은 기존의 기여도를 이용한 방법은 방문한 상태에서 수행된 행위만을 학습시키기 때문에 학습 자정에서 획득된 보답 신호를 효과적으로 사용하지 못한다. 본 논문에서는 방문한 상태에서 수행된 행위뿐만 아니라 인접 행위들도 학습될 수 있도록 하는 새로운 기여도로써 분포 기여도를 제안한다. 제안된 기여도를 이용한 퍼지 Q-learning 알고리즘을 역진자 시스템에 적용하여 학습 속도면에서 기존의 방법에 비해 우수함을 보인다.

  • PDF

제과.제빵 학원의 교육환경과 수강생의 전공인식이 학습만족도에 미치는 영향 (The Effect of Educational Environment and a Student's Major Recognition on Learning Satisfaction at the Bakery & Confectionery Institute)

  • 김형준
    • 한국식생활문화학회지
    • /
    • 제26권1호
    • /
    • pp.63-71
    • /
    • 2011
  • The purpose of this study was to establish different levels of learning satisfaction concerning bakery and confectionery institute students in relation to their educational environment as well as to determine the relationships between variables. A questionnaire was distributed to 260 students enrolled in the bakery and confectionery institute at Gyeongju in the Pohang and Ulsan area, and 242 were used in the final analysis. Collected data were statistically analyzed using SPSS 12.0 Windows. Results of this study can be summarized as follows. The students were mostly satisfied with the learning environment and teaching methods of the institute. A significant difference was observed between male and female students for recognizing teaching methods and major recognition. Furthermore, the educational environment and major recognition of students were positively related with learning satisfaction. Therefore, the staff at the bakery and confectionary institute should provide the proper curriculum and facilities for the students.

스파크를 이용한 머신러닝의 분산 처리 성능 요인 (Performance Factor of Distributed Processing of Machine Learning using Spark)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.19-24
    • /
    • 2021
  • 본 논문에서는 아파치 스파크를 이용하여 머신러닝을 분산 처리할 때의 성능 요인을 분석하고 효율적인 분산 처리를 위한 실행 환경을 실험을 통해 제시한다. 먼저, 분산 클러스터 환경에서 머신러닝을 수행할 때 고려해야 하는 성능 요인으로 클러스터의 성능, 데이터의 규모, 스파크 엔진의 속성으로 구분하여 분석한다. 그리고 하둡 클러스터에서 동작하는 스파크 MLlib을 이용하여 회귀분석을 수행할 때 노드의 구성과 스파크 Executor의 설정을 변화하면서 성능을 측정한다. 실험 결과 최적의 Executor 개수는 데이터의 블록의 수에 영향을 받으나 클러스터 규모에 따라 최대값, 최소값은 각각 코어의 수, 워커 노드의 수로 제한됨을 실증하였다.

분산 멀티미디어 환경에서 결함 허용 에이전트의 설계 및 구현 (A Design and Implementation of Fault Tolerance Agent on Distributed Multimedia Environment)

  • 고응남;황대준
    • 한국정보처리학회논문지
    • /
    • 제6권10호
    • /
    • pp.2618-2629
    • /
    • 1999
  • In this paper, we describe the design and implementation of the FDRA(Fault Detection Recovery based on Agent) running on distributed multimedia environment. DOORAE is a good example for distributed multimedia and multimedia distance education system among students and teachers during lecture. It has primitive service agents. Service functions are implemented with objected oriented concept. FDRA is a multi-agent system. It has been environment, intelligent agents interact with each other, either collaboratively or non-collaboratively, to achieve their goals. The main idea is to detect an error by using polling method. This system detects an error by polling periodically the process with relation to session. And, it is to classify the type of error s automatically by using learning rules. The merit of this system is to use the same method to recovery it as it creates a session. FDRA is a system that is able to detect an error, to classify an error type, and to recover automatically a software error based on distributed multimedia environment.

  • PDF

Deep Learning Based Security Model for Cloud based Task Scheduling

  • Devi, Karuppiah;Paulraj, D.;Muthusenthil, Balasubramanian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권9호
    • /
    • pp.3663-3679
    • /
    • 2020
  • Scheduling plays a dynamic role in cloud computing in generating as well as in efficient distribution of the resources of each task. The principle goal of scheduling is to limit resource starvation and to guarantee fairness among the parties using the resources. The demand for resources fluctuates dynamically hence the prearranging of resources is a challenging task. Many task-scheduling approaches have been used in the cloud-computing environment. Security in cloud computing environment is one of the core issue in distributed computing. We have designed a deep learning-based security model for scheduling tasks in cloud computing and it has been implemented using CloudSim 3.0 simulator written in Java and verification of the results from different perspectives, such as response time with and without security factors, makespan, cost, CPU utilization, I/O utilization, Memory utilization, and execution time is compared with Round Robin (RR) and Waited Round Robin (WRR) algorithms.

U-Learning 스킴 : 새로운 웹 기반 교육 기술 (U-Learning Scheme : A New Web-based Educational Technology)

  • 김혜진
    • 한국산학기술학회논문지
    • /
    • 제12권12호
    • /
    • pp.5486-5492
    • /
    • 2011
  • 본 연구는 언제 어디서나 교육이 가능하도록 하는 유비쿼터스 컴퓨팅 기술의 개념에 기반하여 유비쿼터스 학습 환경의 모형을 제안한다. 유비쿼터스 학습 환경은 환경 친화적 학습 스킴이며, 지리학적으로 떨어져있는 환경에서 디지털 매체를 사용하여 학생의 학습을 지원하는 것이다. U-Learning 모형은 웹 기반의 E-Learning 시스템이며, 학습자들이 유비쿼터스 학습 환경및 시스템과의 상호작용을 통해 지식과 기술을 습득하도록 하는 것이다. 교육은 학생 중심이지만, 학생은 학습 프로세스를 인지하지 못할 수도 있다. 소스 데이터는 내재된 객체로 존재하게 되지만, 학생들은 학습하기 위해 아무것도 할 필요가 없으며, 학생들이 움직이거나 학습 환경에 접할 때 장비 및 임베디드 컴퓨터들은 통신을 통해 학습 자료를 제공하게 된다.

심층강화학습 기반 분산형 전력 시스템에서의 수요와 공급 예측을 통한 전력 거래시스템 (Power Trading System through the Prediction of Demand and Supply in Distributed Power System Based on Deep Reinforcement Learning)

  • 이승우;선준호;김수현;김진영
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.163-171
    • /
    • 2021
  • 본 논문은 분산형 전력 시스템에서 심층강화학습 기반의 전력 생산 환경 및 수요와 공급을 예측하며 자원 할당 알고리즘을 적용해 전력거래 시스템 연구의 최적화된 결과를 보여준다. 전력 거래시스템에 있어서 기존의 중앙집중식 전력 시스템에서 분산형 전력 시스템으로의 패러다임 변화에 맞추어 전력거래에 있어서 공동의 이익을 추구하며 장기적인 거래의 효율을 증가시키는 전력 거래시스템의 구축을 목표로 한다. 심층강화학습의 현실적인 에너지 모델과 환경을 만들고 학습을 시키기 위해 날씨와 매달의 패턴을 분석하여 데이터를 생성하며 시뮬레이션을 진행하는 데 있어서 가우시안 잡음을 추가해 에너지 시장 모델을 구축하였다. 모의실험 결과 제안된 전력 거래시스템은 서로 협조적이며 공동의 이익을 추구하며 장기적으로 이익을 증가시킨 것을 확인하였다.