• Title/Summary/Keyword: 분산병렬처리

Search Result 411, Processing Time 0.045 seconds

Performance Evaluation of PDP System Using Realtime Network Monitoring (실시간 네트워크 모니터링을 적용한 PDP 시스템의 성능 평가)

  • Song, Eun-Ha;Jeong, Jae-Hong;Jeong, Young-Sik
    • The KIPS Transactions:PartA
    • /
    • v.11A no.3
    • /
    • pp.181-188
    • /
    • 2004
  • PDF(Parallel/Distributed Processing) is an internet-based parallel/distributed processing system that utilizes resources from hosts on the internet in idle state to perform large scale application through parallel processing, thus decreasing the total execution time. In this paper. do propose an adaptive method to be changed network environment at any time using realtime monitoring of host. It is found from experiments that parallel/distributed processing has better performance than its without monitoring as an adaptive strategy, which copy with task delay factor by overload and fault of network, be applicable to the cockpits of task allocation algorithm in PDP.

SQL Data Transport Technique for Efficient Hybrid Data Processing on Distributed and Parallel Environment (분산 병렬 환경에서 효율적인 이종 데이터 처리를 위한 SQL 데이터 전송 기법)

  • Yang, HyeonSik;Baek, Naeun;Sung, Mirae;Chang, Jae-woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1102-1105
    • /
    • 2015
  • 인터넷 발전이 가속화되고 SNS가 보급된 이후 과거와는 비교할 수 없을 정도로 큰 데이터 트래픽이 발생하고 있다. 기존의 DBMS는 이를 효과적으로 처리할 수 없었기 때문에 Hadoop과 같은 NoSQL이 탄생하였고, 최근 NoSQL 및 기존 SQL DBMS의 협업을 통해 유연하고 강력한 데이터 관리를 수행하는 연구가 진행되었다. 효율적인 질의 처리를 위한 대표적인 연구로 SQL 기반 분산 병렬 질의 처리 기법과 Hive등이 존재한다. 그러나 기존의 기법은 분산 병렬 환경을 고려하지 않아 SQL DBMS의 질의 결과를 효율적으로 Hive에 전송하지 못한다. 본 논문에서는 SQL DBMS에서 Hive로의 효율적인 SQL 데이터 이동을 위해 네트워크 비용을 최소화하는 기법을 제안하고, 제안하는 기법의 우수성을 제시한다.

Improving Read Latency for Stream Data Processing via Parallel Access of Time Series Database (스트림 데이터 처리를 위한 시계열 데이터베이스 병렬 접근 기반 읽기 지연 개선 기법)

  • Hwang, Yong-Ha;Noh, Soon-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.44-47
    • /
    • 2018
  • 시계열 데이터 처리를 위해 방대한 양의 데이터를 스토리지에서 빠르게 읽어와 처리하려는 움직임이 많아지고 있다. 이를 위해 스토리지의 read latency 를 개선하기 위한 여러 기법들이 제안되었지만, 이 기법들은 분산 노드의 스토리지 자원을 충분히 활용하지 못한다는 한계가 있다. 따라서 우리는 시계열 데이터를 실시간으로 처리하기 위해 스토리지에 병렬적으로 접근하여 read latency 를 개선하는 기법을 제안한다. 제안된 기법은 분산 환경에서 스토리지에 병렬적으로 접근하여, 각 노드에서 부분적으로 데이터를 읽어와 전체 데이터를 읽어오는 지연시간을 줄인다. 우리는 제안된 기법을 여러 노드로 구성된 분산 환경에서 구현하였다. 제안된 기법을 적용한 결과, 전체 데이터를 읽어오는 read latency 가 기존 기법보다 28.04% 줄어든 것을 확인하였다.

Iceberg Cube Parallel Computation using MapReduce (맵리듀스를 이용한 빙산 큐브 병렬 계산)

  • Lee, Su-An;Kim, Jin-Ho;Moon, Yang-Sae;Loh, Woong-Kee
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06a
    • /
    • pp.25-26
    • /
    • 2010
  • 대용량 데이터의 효율적 분석을 위해 데이터 뷰브가 연구되었으며, 데이터 큐브 계산의 고비용 문제점을 해결하기 위하여 큐브의 일부 영역만을 계산하는 빙산 큐브가 등장하였다. 빙산 큐브는 저장 공간의 감소, 집중적인 분석 등의 장점이 있으나, 여전히 많은 계산과 저장 공간을 필요로 하는 단점이 있다. 본 논문에서는 이러한 문제점을 해결하는 실용적인 방법으로 대용량 문제를 분산하여 처리하는 분산 병렬 컴퓨팅 기술인 맵리듀스(MapReduce) 프레임워크를 사용하여 분산 병렬 빙산 큐브인 MR-Naive와 MR-BUC 알고리즘을 제안한다. 실험을 통해 맵리듀스 프레임워크를 통한 빙사 큐브 계산이 효율적으로 분산 병렬 처리 됨을 확인하였다.

  • PDF

Performance evaluation of distributed file systems on a small scale cluster system (소규모 클러스터 시스템에서의 분산 파일 시스템에 대한 성능 평가)

  • Cho, Hye-Young;Cha, Kwang-Ho;Kim, Sung-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.1417-1420
    • /
    • 2005
  • 고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

  • PDF

Development of Parallel Distributed VHDL Simulator on SGI Origin 2000/Cray T3e/IBM SP2 Systems (SGI Origin 2000/Cray T3e /IBM SP2 시스템에서 병렬 분산 VHDL 시뮬레이터의 개발)

  • Jeong, Yeong-Sik
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.2
    • /
    • pp.196-208
    • /
    • 1999
  • 본 논문에서는 시뮬레이션 속도 향상을 위하여 VHDL(Very high speed integrated circuit Hardware Description Language)로 기술된 디지털 회로 시뮬레이션을 위한 병렬 분산 VHDL 시뮬레이터(Parallel Distributed VHDL Simulator : PDVS)를 개발한다. 개발된 프로그램을 대규모 병렬 프로그래밍 환경에서도 수행될 수 있도록 하기 위해서 표준 통신 라이브러리인 MPI(Message Passing Interface)를 이용하여 구현된다. PDVS 의 전체적인 시스템구성도, PDVS 에 사용된 시뮬레이션 프로토콜, 전역가상시간 계산 메카니즘 및 논리적 프로세스의 내부 구성요소들간의 관계와 PDVS의 제어 흐름도를 제시한다. 그리고 본 연구에서는 병렬 분산 시뮬레이션의 병렬성 정도를 분석하기 위하여 디지털 회로의 크기 변화와 처리되는 사건수(grain size)의 변화에 따른 성능 결과를 제시한다. 이 연구에서 4배크기의 디지털 회로를 적용한 경우는 프로세서를 12개 사용할 때에 8배의 속도향상을 얻었다. 그리고 처리되는 사건의 수가 200인 경우는 프로세서를 32개 사용할 때에 12배의 속도향상을 얻었다. 또한 동일한 방법을 SGI Origin 2000, Cray T3e 및 IBM SP2에 적용함으로서 그 성능의 간접적인 비교결과도 제시한다.

Performance of Parallel Ray Tracing Algorithm (병렬 광선 추적 알고리듬의 성능)

  • Lee, Hyo-Jong;Im, Beom-Hyeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.255-258
    • /
    • 2001
  • 광선추적기법은 사진과 같은 고해상도의 영상을 만들어내는 렌더링 기법중의 하나이다. 이 기법은 이미지를 합성하는데 많은 양의 계산 시간을 필요로 한다. 병렬처리 기법이 광선추적에 계산양의 처리 기간을 감소하기 위하여 사용될 수 있다. 본 논문에서는 병렬 광선추적 기법을 MPI(Message Passing Interface)를 사용하여 IBM Supercomputer 상에서 노드의 개수의 증가에 따른 속도 향상과 노드간에 전달되는 메시지의 크기에 따른 성능 향상을 실험하였다. 본 논문에서 실험한 병렬 광선 추적 기법으로 IBM SP 시스템 상에서 다양한 영상을 생성하였다. 영상은 분할가능하고 노드에 분배할 수 있기 때문에 병렬화 범주에 들 수 있으며 부하균형을 맞출 수 있다. 실험에서 프로세서수의 증가에 따른 이상적인 속도향상률(Speed-up rate)을 15개의 프로세서를 사용하여 얻을 수 있었다. 광선을 추적하여 영상을 합성해 낼 때 표현하고자 하는 영상이 단순한 객체로 이루어져 있다면 각 노드에 분산해줘야 할 작업의 크기는 복잡한 객체들로 구성된 영상보다 클 때 더 놓은 성능을 나타내었다. 분산작업의 크기가 작아 상대적으로 통신횟수가 증가할 때 렌더링시 효율저하를 나타내었다.

  • PDF

Compression-Based Ray-Casting of Huge Volume Data on Distributed Memory Environments (분산 메모리 환경에서의 방대한 볼륨데이터의 압축기반 광선추적법)

  • 송동섭;박상훈;임인성
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.634-636
    • /
    • 2000
  • 기존의 병렬 볼륨 렌더링 방법들은 프로세서간의 발생하는 많은 통신량 때문에 통신 속도가 매우 빠른 병렬컴퓨터를 이용하였고 통신속도가 느린 분산 환경에서는 구현이 불가능해 보였다. 또한 가시화하려는 볼륨 데이터도 점점 방대해지고 있는 실정이다. 이에 본 논문에서는 통신 속도에 구애받지 앉을뿐더러 매우 큰 볼륨데이터를 다루는 병렬/분산 볼륨 렌더링을 제안한다. 본 방법은 고비용을 필요로 하는 원격 메모리 접근 대신에 압축을 기반으로 하여 필요한 데이터를 지역 메모리에서 빠르게 복원함으로써 좋은 성능향상(speedup)을 나타낸다. 이것은 각 프로세서가 전체 볼륨 데이터를 모두 적재하고 있다는 것을 의미한다. 다라서 렌더링 과정중에 발생하는 프로세서간의 통신을 최소화할 수 있었고, 이런 방식은 높은 통신 비용으로 효율적 병렬/분산 처리가 힘든 분산 메모리 병렬 컴퓨터나 PC/워크스테이션 클러스터상에서 매우 적합하다.

  • PDF

Spark-based Distributed and Parallel DNA Deduplication Method (Spark 기반의 분산 병렬 DNA 중복제거 방법)

  • Moon, Jihye;Lee, Hyeonbyeong;Song, Seokil
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2017.05a
    • /
    • pp.313-314
    • /
    • 2017
  • 이 논문에서는 DNA 분석단계 중 하나인 DNA 리드(Read)에 대한 중복제거 방법을 분산 병렬처리 기법을 적용하여 가속화하는 방법을 제안한다. 기존 제안된 중복제거 기법을 Spark을 기반으로 병렬처리 되도록 하는 접근방법을 취한다. 제안하는 기법은 실험을 통해서 기존 중복제거 기법과 비교하여 성능을 입증한다.

  • PDF

Task Allocation Methods and Performance Comparison for Parallel Computation Based on Multi-Agent System (다중 에이전트 시스템 기반의 병렬 계산을 위한 작업 할당 기법과 성능비교)

  • 김경하;김영학;오길호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.502-504
    • /
    • 2000
  • 최근 높은 컴퓨팅 파워를 요구하는 응용문제 처리를 위해 고 비용의 슈퍼컴퓨터 대신 인터넷상에 분산된 다수의 일반 컴퓨터들을 이용하는 병렬처리에 관한 연구가 진행되고 있다. 본 연구에서는 다중 에이전트 시스템을 기반으로 하여 이질적인 성능을 갖는 컴퓨터들을 병렬 컴퓨팅 환경으로 구성하고 각 호스트의 성능측정 결과에 따라 효율적으로 작업을 분산하는 기법을 제안한다. 또한 본 연구에서 제안한 방법을 다중 에이전트 시스템인 IBM의 AgletsTM을 사용하여 실험적으로 성능을 평가하고, 기존 연구와 비교한다.

  • PDF