• Title/Summary/Keyword: 분산 병렬 알고리즘

Search Result 170, Processing Time 0.04 seconds

A Comparison of Multi- Way Join Algorithms in MapReduce (맵리듀스를 이용한 멀티웨이 조인 알고리즘의 비교)

  • Myung, Jae-Seok;Lee, Sang-Goo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.127-130
    • /
    • 2011
  • 맵리듀스는 데이터의 분산 및 병렬 처리를 돕는 프레임워크로서, 하둡과 같은 오픈 소스 맵리듀스 구현이 배포되면서 많은 연구가 이루어지고 있다. 맵리듀스를 이용한 조인은 대용량 데이터 분석을 위한 필수적인 연산이며, 여러 개의 테이블을 한 번의 맵리듀스로 조인하기 위한 멀티웨이 조인 알고리즘에 대한 연구도 계속 진행되고 있다. 이 논문에서는 반복(iteration) 기반 멀티웨이 조인과 중복(replication) 기반 멀티웨이 조인 알고리즘의 장단점을 분석한다. 또한 두 가지 방식의 조인 알고리즘의 단점을 보완하여 하나의 통합적인 2단계 멀티웨이 세미조인을 제시하고, 이를 기존의 방식과 비교한다. 결과적으로, 2단계 멀티웨이 세미조인은 반복 기반의 조인에 비하여 입출력 비용을 절감하고, 중복 기반의 조인에 비하여 커뮤니케이션 비용을 절감한다.

Real-time Hand Gesture Recognition System based on Vision for Intelligent Robot Control (지능로봇 제어를 위한 비전기반 실시간 수신호 인식 시스템)

  • Yang, Tae-Kyu;Seo, Yong-Ho
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.13 no.10
    • /
    • pp.2180-2188
    • /
    • 2009
  • This paper is study on real-time hand gesture recognition system based on vision for intelligent robot control. We are proposed a recognition system using PCA and BP algorithm. Recognition of hand gestures consists of two steps which are preprocessing step using PCA algorithm and classification step using BP algorithm. The PCA algorithm is a technique used to reduce multidimensional data sets to lower dimensions for effective analysis. In our simulation, the PCA is applied to calculate feature projection vectors for the image of a given hand. The BP algorithm is capable of doing parallel distributed processing and expedite processing since it take parallel structure. The BP algorithm recognized in real time hand gestures by self learning of trained eigen hand gesture. The proposed PCA and BP algorithm show improvement on the recognition compared to PCA algorithm.

A Novel Task Scheduling Algorithm Based on Critical Nodes for Distributed Heterogeneous Computing System (분산 이기종 컴퓨팅 시스템에서 임계노드를 고려한 태스크 스케줄링 알고리즘)

  • Kim, Hojoong;Song, Inseong;Jeong, Yong Su;Choi, SangBang
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.52 no.3
    • /
    • pp.116-126
    • /
    • 2015
  • In a distributed heterogeneous computing system, the performance of a parallel application greatly depends on its task scheduling algorithm. Therefore, in order to improve the performance, it is essential to consider some factors that can have effect on the performance of the parallel application in a given environment. One of the most important factors that affects the total execution time is a critical path. In this paper, we propose the CLTS algorithm for a task scheduling. The CLTS sets the priorities of all nodes to improve overall performance by applying leveling method to improve parallelism of task execution and by reducing the delay caused by waiting for execution of critical nodes in priority phase. After that, it conditionally uses insertion based policy or duplication based policy in processor allocation phase to reduce total schedule time. To evaluate the performance of the CLTS, we compared the CLTS with the DCPD and the HCPFD in our simulation. The results of the simulations show that the CLTS is better than the HCPFD by 7.29% and the DCPD by 8.93%. with respect to the average SLR, and also better than the HCPFD by 9.21% and the DCPD by 7.66% with respect to the average speedup.

Distributed/parallel Algorithm Simulator (분산 및 병렬 알고리즘 시뮬레이터)

  • ;R.S.Ramakrishna
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10c
    • /
    • pp.777-779
    • /
    • 1999
  • A new distributed/parallel algorithm simulator, DASim(Distributed Algorithm Simulator), is proposed in this paper. The idea is to ease the task of design, analysis and implementation of distributed algorithms. A small high level language has been proposed for the purpose. Through this non-language specific high level language, the users are spared from the tedious details about how to program distributed or parallel algorithms. Further, visualization of these algorithms are pretty helpful to understand behaviors of these algorithms.

  • PDF

Stream based DNA Read Deduplication Method (스트림 기반 DNA 리드 중복제거 방법)

  • Lee, Hyeon-byeong;Song, Seok-il;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.9-10
    • /
    • 2019
  • NGS 분석과정 중 증폭된 DNA 리드(Read)는 중복이 발생하여 이로 인해 다음 단계의 정확도 저하 등의 문제를 야기한다. 이 논문에서는 기존 DNA 리드 중복 제거 도구 중 하나인 Samblaster의 중복제거 알고리즘을 이용하여 분산 병렬 형태로 중복제거를 수행하는 방법을 제안한다. 제안하는 중복제거 방법은 중복제거 전단계인 정렬단계애서 정렬된 리드에 대해 중복제거 키를 생성하고 이를 스트림으로 전달하여 중복제거를 수행한다.

  • PDF

Optimal Design of PM Wind Generator Based on Genetic Algorithm Combined with Mesh Adaptive Direct Search (MADS를 결합한 GA 기반의 풍력발전기 최적설계)

  • Ahn, Young-Jun;Park, Ji-Seong;Lee, Chel-Gyun;Kim, Jong-Wook;Kim, Yong-Jae;Jung, Sang-Yong
    • Proceedings of the KIEE Conference
    • /
    • 2009.07a
    • /
    • pp.615_616
    • /
    • 2009
  • 유한요소해석(Finite Element Analysis)을 통한 풍력발전기 최적설계시, 해석 특성상 발생하는 막대한 소요시간의 개선이 필요하다. 본 논문에서는 연간 에너지 생산량(Annual Energy Production : AEP)의 최대화를 목표로 GA(Genetic Algorithm)와 MADS(Mesh Adaptive Direct Search)를 결합한 혼합 알고리즘을 이용하여 최적설계를 수행하였다. 또한, 혼합 알고리즘과 병렬분산 유전알고리즘을 이용한 최적설계의 해석 소요시간을 비교 및 검토하였다.

  • PDF

Duplication Based Task Scheduling with Communication Cost in Heterogeneous Systems (이질 시스템에서 통신 시간을 고려한 복제 기반 태스크 스케줄링)

  • 백정규;정진하;윤완오;신광식;최상방
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.67-69
    • /
    • 2004
  • 병렬 및 분산 컴퓨터 시스템에서 선후 관계의 제약을 갖는 노드들의 스케줄링은 잘 알려진 NP-complete이다. 이러한 노드들의 스케줄링을 효율적으로 수행하기 위해 많은 알고리즘이 부모 노드와 이질 프로세서에 대한 정보를 고려하여 제안되었다. 하지만 여러 개의 부오 노드와 이질 프로세서에 대한 다양한 경우를 충분히 고려하지 못했다. 본 논문은 부모 노드에 대한 선후 관계와 이질 시스템의 특성을 고려, 이질 수행 시간을 갖는 다중 프로세서를 대상으로 태스크가 가능한 빨리 수행할 수 있는 시간과 태스크가 가능한 빨리 완료될 수 있는 시간을 이용한 복제 기반의 태스크 스케줄링 기법(DTSC)을 제안하였다. 제안된 알고리즘의 성능은 기존 STDS 알고리즘과 대표적인 입력 그래프에 대해 비교하였고, 스케줄링의 성능 향상을 보여 주었다.

  • PDF

Performance Evaluation of Real-Time Transaction Processing Algorithms in Shared Disks Clusters (공유 디스크 클러스터 기반의 실시간 트랜잭션 처리 알고리즘 성능 평가)

  • 이상호;온경오;조행래
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.82-84
    • /
    • 2004
  • 인터넷을 이용한 전자 상거래 잎 관리 시스템 등의 실시간 처리를 요구하는 응용분야가 점차 증가함으로 인해 고성능 실시간 트랜잭션 처리 시스템 개발이 요구되고 있다. 그러나 기존에 제안된 대부분의 실시간 시스템은 다중 처리기나 분산 처리 방식을 이용하였으며, 클러스터 기술을 이용한 실시간 트랜잭션처리 시스템은 아직 제안된 바 없다 클러스터를 이용한 실시간 트랜잭션 처리 시스템은 저렴한 가격으로 높은 가용성과 병렬 처리를 이용한 고성능 트랜잭션 처리를 지원할 수 있다는 장점을 갖는다 이러한 관점에서 본 논문에서는 공유 디tm크(shared disks: SD) 클러스터 기반의 실시간 트랜잭션 처리 시스템을 개발하기 위하여 캐쉬 일관성 제어 기법이나 트랜잭션 라우팅 기법과 같은 전통적인 SD 클러스터 알고리즘과 실시간 트랜잭션을 위찬 동시성 제어 기법을 연동한 실험 모형을 개발하였다. 다양한 환경에서의 모의실험을 통하여 알고리즘간의 상호 관계와 실시간 환경에서 SD 클러스터의 성능을 평가 분석한다.

  • PDF

PC Cluster-based Parallel Korean Information Retrieval System (PC 클러스터 기반 병렬 한국어 정보검색 시스템)

  • 김진혁;장한국;최참아;류광렬;정상화;권혁철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.160-162
    • /
    • 1999
  • 대용량의 정보를 다루는 정보검색 시스템은 정보 처리 과정에서 디스크 접근 시간이 큰 오버헤드로 작용한다. 본 논문에서는 단일 기계에서 작동하는 정보검색 시스템이 가지는 이러한 문제점을 해결하기 위해 PC 클러스터 기반 정보검색 시스템을 구현하였다. 색인어 간의 동시 등장 빈도 정보를 이용한 Greedy De-clustering 알고리즘으로 클러스터에 색인어 역파일을 병렬 분산하여 저장하고, SCI 기반의 효율적인 통신 시스템을 구축하여 클러스터 노드간의 통신이 원활하게 하였다. 따라서 사용자 질의어를 처리할 때 질의어별로 가져오는 색인어 역파일의 디스크 접근 시간이 감소하는 효과를 얻을 수 있었으며, 기존의 단일 기계에서 수행되는 정보 검색 시스템보다 수행속도가 2.3배 빠른 시스템을 구현하였음을 실험을 통해 확인하였다.

  • PDF

Performance Analysis on Hadoop with SSD for Interative Process (SSD 타입 저장장치를 포함하는 Hadoop 시스템의 Iterative Processing 처리 성능 분석)

  • Oh, Sangyoon;Kwon, Seong-Min;Lee, Sookyung
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.07a
    • /
    • pp.191-193
    • /
    • 2016
  • 본 논문에서는 SSD 저장장치를 포함하는 하둡의 Iterative Processing에 대한 성능 분석 결과를 소개한다. 하둡은 맵 리듀스 병렬 프로그래밍 모델을 통해 Batch Processing에 특화된 구조를 가지고 있는 프레임 워크이다. 이는 병렬/분산 환경에서 큰 성능향상을 보장하지만, 반복 작업을 수행하는 Iterative Processing에 대하여는 성능이 낮아지는 문제가 존재하고 있다. 이에 본 논문에서는 점차 낮아지는 가격으로 인해 하둡시스템에 적용 가능성이 타진되는 SSD를 통해 반복 작업의 성능이슈를 해결할 수 있는지 확인하고, SSD를 통한 성능향상의 요소가 존재하는지 알아보고자 실험을 진행하였다. 실험에서는 Batch Processing인 word count와 Iterative Processing인 Page Rank 알고리즘을 MapReduce로 구현하고 데이터 크기에 따른 성능 향상도를 측정하였고, SSD 추가와 같은 하드웨어적인 성능을 통한 하둡의 반복 작업은 큰 효율을 기대하기가 어렵다는 결론을 보였다.

  • PDF