• 제목/요약/키워드: 분산병렬시스템

검색결과 380건 처리시간 0.025초

HPC 환경을 위한 워크플로우 기반의 바이오 데이터 분석 시스템 (Workflow-based Bio Data Analysis System for HPC)

  • 안신영;김병섭;최현화;전승협;배승조;최완
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권2호
    • /
    • pp.97-106
    • /
    • 2013
  • 인간 게놈 프로젝트의 완성 이후 유전체 분석 비용은 매우 빠르게 감소하고 있다. 이에 따라 인간 유전체 분석 요구가 급증할 것으로 예상된다. 인간 유전체 분석과 같은 대규모 바이오 데이터 분석을 고속으로 수행하기 위해서는 비IT 전문가들이 다양한 특성의 바이오 응용들을 고성능컴퓨팅 시스템을 통해 효과적으로 실행할 수 있어야 한다. 이를 위해서는 여러 응용들이 조합되어 순서를 갖고 실행되어야 하는 바이오 응용들을 워크플로우 형태로 쉽게 정의할 수 있어야 하며, 이 워크플로우를 HPC 클러스터 시스템에서 최적 자원을 할당 받아 분산 병렬 수행시켜야 한다. 이를 통해 바이오 데이터 분석 성능과 응답시간의 개선을 기대할 수 있다. 본 논문에서는 HPC 환경에 익숙하지 않은 비IT 바이오 연구자들이 쉽게 바이오 데이터 분석을 할 수 있도록 바이오 워크플로우를 쉽게 정의하고 실행할 수 있는 바이오 특화된 워크플로우 기반 대규모 데이터 분석 시스템을 제안한다.

분산 공유 메모리 시스템에서 메모리 접근지연을 줄이기 위한 이중 슬롯링 구조 (A Dual Slotted Ring Organization for Reducing Memory Access Latency in Distributed Shared Memory System)

  • 민준식;장태무
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.419-428
    • /
    • 2001
  • 집적회로 기술의 발달은 처리기의 속도를 계속적으로 증가시켜 왔다. 처리기 응용분야의 주요한 도전은 공유 메모리 다중 처리기 시스템에서 고성능 처리기들을 효과적으로 사용하고자 하는 것이다. 우리는 상호 연결망 문제가 소규모의 공유 메모리 다중처리기 시스템에서 조차 완전히 해결되었다고 생각하지 않는다. 그 이유는 공유버스의 속도는 새로운 강력한 처리기들의 대역폭 요구를 수용할 수 없기 때문이다. 지난 수년간 점대점 단방향 연결은 매우 가능성 있는 상호 연결망 기술로서 대두되었다. 단일 슬롯링은 점대점 상호 연결망의 가장 간단한 형태이다. 단일 슬롯링 구조의 단점은 링에서 처리기의 수가 증가함에 따라 메모리 접근지연 시간이 선형적으로 증가한다는 것이다. 이런 이유로 우리는 캐쉬 기반의 다중처리기 시스템에서 단일 슬롯링을 대체할 수 있는 이중 슬롯링 구조를 제안한다. 또한 본 논문에서 새로운 스누핑 프로토콜을 사용하는 이중 슬롯링 구조를 분석하고 분석적모델과 모의 실험을 통하여 기존의 단일 슬롯링과 성능을 비교한다.

  • PDF

분산 UNIX 환경에서 Shared-Concurrent File System의 설계 및 구현 (Design and implementation of a Shared-Concurrent File System in distributed UNIX environment)

  • 장시웅;정기동
    • 한국정보처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.617-630
    • /
    • 1996
  • 본 연구에서는 소규모 서버로 사용될 수 있는 Workstation Cluster환경에서 전통 적인 디스크들을 디스크 배열 처럼 사용할 수 잇는 병행 화일시스템(S-CFS)을 설계 하고 구현하였다. S-CFS는 범용의 UNIX 운영체제를 기반으로 구현되어서 융통성과 이식 성이 높으며 별도의 입출력 노드가 불필요하므로 시스템 자원을 효율적으로 사용한다. 성능 분석 결과에 위하며, 소규모 서버에서 디스크의 수가 충분 할 경우, 트랜잭션 처리 에서 병행 화일시스템의 성능은 CPU 계산 능력에 의하여제한받는 것으로 나타났으며 대용량 데이타 입출력에서는 성능이 버퍼 간의 데이타 복사시간에 의하여 제한받는 것으로 나다.Workstation Cluster 에서 구현된 병행 화일시스템은 8개의 디스크에서 트랜잭션 처리의 경우에는초당 388 트랜잭션의 처리율을 보였으며, 대용량 데이타의 경우에는 15.8 MBytes/sec 의 대역표을 보였다. 그리고 사용자가 병행 화일시스템의 병렬성을 제어할 수 있도록 설계함으로써 고속 입출력을 요구하는 사용자의 처리율을 높일 수 있도록 하였다.

  • PDF

결함 노드를 갖는 (n,K)-스타 그래프에서의 링 임베딩 (Ring Embedding in (n.K) Star Graphs with Faulty Nodes)

  • 장정환;김진수
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권1호
    • /
    • pp.22-34
    • /
    • 2002
  • 본 논문에서는 최근에 제안된 (n,K)-스타 그래프에서 결함 노드를 포함하는 경우의 링 임베딩 문제를 다룬다. 그래프 자체의 계층적 특성을 이용한 일련의 차원 확장 및 결함 노드의 분산 전략 을 효율적으로 이용하여 n-3개의 이하의 결함 노드만을 포함하고, $n-k{\geq}2$를 만족한는(n.k)-스타 그래프에서 고장 노드들만 제외시킨 최대 크기의 링을 임베딩할 수 있음을 보이고해당 임베딩 알고리즘을 제시한다. 본 논문에서 다루고 있는 사이클 특성과 관련된 림 임베딩 연구는 병렬 처리 분야에서의 멀티캐스팅 등 과 같이 내재된 사이클 특성을 활용하는 분야에 응용이 가능하다.

디지털 뉴런프로세서의 설계에 관한 연구 (Design of the Digital Neuron Processor)

  • 홍봉화;이호선;박화세
    • 전자공학회논문지 IE
    • /
    • 제44권3호
    • /
    • pp.12-22
    • /
    • 2007
  • 본 논문에서는 잉여수체계(Residue Number System)를 이용하여 고속의 디지털 신경회로망을 제안하고 이를 구현하기 위한 중요연산부인 고속의 디지털 뉴런프로세서를 설계하였다. 설계된 디지털 뉴런프로세서는 잉여수계를 이용한 MAC 연산기와 혼합계수 변환을 이용한 시그모이드 함수 연산 부로 구성되며, 설계된 회로는 VHDL로 기술하였고 Compass 툴로 합성하였다. 실험결과, 본 논문에서 설계한 디지털 뉴런프로세서는 19.2nsec의 속도를 보였으며, 실수연산기로 설계한 뉴런프로세서에 비하여 약 50%정도 하드웨어 크기를 줄일 수 있었다. 본 논문에서 설계한 뉴런프로세서는 실시간 처리를 요하는 병렬분산처리 시스템에 적용될 수 있을 것으로 기대된다.

클라우드에서 SPARQL 질의 처리를 위한 조인 성능 향상 (Improving Join Performance for SPARQL Query Processing in the Clouds)

  • 최규진;손윤희;이규철
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.700-709
    • /
    • 2016
  • 최근 LOD 데이터의 급격한 증가로 인해 기존의 싱글 머신 시스템을 통한 대량의 LOD 처리는 성능의 한계를 가진다. 이러한 문제를 해결하기 위해 최근 연구들은 분산, 병렬 프레임워크인 맵리듀스를 활용한다. 하지만 맵리듀스를 통해 SPARQL 질의를 처리하기 위해서는 다수의 맵리듀스 잡이 필요하고, 이로 인해 추가적인 비용이 발생하게 된다. 또한, 조인을 위해 불필요한 데이터를 처리해야 하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 SPARQL 질의 처리 시 발생하는 맵리듀스 잡의 개수를 줄이고 Bitmap을 기반으로 조인 인덱스를 작성 후 이용하여 불필요한 데이터 처리를 최소화 하는 방법을 제안한다.

웹기반 그리드컴퓨팅 프레임워크의 설계 및 구현 (Design and Implementation Web-based Grid-computing Framework)

  • 강경우;강윤희;김도현;조광문;궁상환
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 춘계종합학술대회논문집
    • /
    • pp.461-465
    • /
    • 2003
  • 고성능 컴퓨팅 자원에서의 그리드 컴퓨팅은 다양한 대규모 계산 문제를 해결하기 위해 적용되고 있다. 응용 프로그램 개발자들에게 분산된 컴퓨팅 자원을 제공하는 다양한 소프트웨어들이 개발되었다. 그러나, 이들 시스템들은 웹기반이 아니거나 협력작업을 위한 기능을 제공하지 않거나 실시간으로 결과를 볼 수 있는 도구를 제공하지 않는다. 네트워크 어플리케이션 개발 측면에서 보면 웹기술은 일반적으로 사용하는 기술이 되고 있다. 특히, 인터페이스가 플랫폼과 독립적이라는 특징 때문에 더욱 그렇다. 본 연구에서는 MPI를 이용해 작성된 병렬 SPMD 어플리케이션의 수행을 위한 웹기반 프레임워크를 제안한다. 또한, 실시간 가시화 기술을 이용해서 협력연구를 위한 환경을 개발하였다.

  • PDF

잉여수계를 이용한 역전파 신경회로망 구현 (The Implementation of Back Propagation Neural Network using the Residue Number System)

  • 홍봉화;이호선
    • 정보학연구
    • /
    • 제2권2호
    • /
    • pp.145-161
    • /
    • 1999
  • 본 논문에서는 캐리 전파가 없어 고속연산이 가능한 잉여 수 체계를 이용하여 고속으로 동작할 수 있는 역전파 신경회로망을 설계방법을 제안하였다. 설계된 신경회로망은 잉여수계를 이용한 MAC 연산기와 혼합계수 변환을 이용한 시그모이드 함수 연산 부로 구성되며, 설계된 회로는 VHDL로 기술하였고 Compass 툴로 합성하였다. 실험결과, 가장 나쁜 경로일 경우, 약 19nsec의 지연속도를 보였고, 기존의 실수 연산기에 비하여 약 40%정도 하드웨어 크기를 줄일 수 있었다. 본 논문에서 설계한 신경회로망은 실시간 처리를 요하는 병렬분산처리 시스템에 적용될 수 있을 것으로 기대된다.

  • PDF

이더넷과 인피니밴드 네트워크 기반의 분산 메모리 시스템에서 병렬성능 분석 (PERFORMANCE ANALYSIS OF THE PARALLEL CUPID CODE IN DISTRIBUTED MEMORY SYSTEM BASED ETHERNET AND INFINIBAND NETWORK)

  • 전병진;최형권
    • 한국전산유체공학회지
    • /
    • 제19권2호
    • /
    • pp.24-29
    • /
    • 2014
  • In this study, a parallel performance of CUPID-code has been investigated for both Ethernet and Infiniband network system to examine the effect of cache memory and network-speed. Bi-conjugate gradient solver of CUPID-code has been parallelised by using domain decomposition method and message passing interface (MPI). It is shown that the parallel performance of Ethernet-network system is worse than that of Infiniband-network system due to the slow network-speed and a small cache memory. It is also found that the parallel performance of each system deteriorates for a small problem due to the communication overhead, but the performance of Infiniband-network system is better than Ethernet-network system due to a much faster network-speed. For a large problem, the parallel performance depends less on network system.

대용량 데이터 기반 트리플 저장소 아키텍처 분석 (Analysis of Scalable Triple Repository Architecture for Big Data)

  • 김태홍;엄정호;조민희;최성필;정한민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.423-425
    • /
    • 2012
  • 비정형데이터의 분석을 위한 다양한 연구가 진행되면서 폭발적인 트리플 데이터 증가가 이루어졌다. 이는 결국 서비스 인프라의 병목현상을 초래하고 있으며, 그 해결책으로서 분산 병렬 아키텍처가 주목받고 있다. 본 논문은 대용량 시맨틱웹 자원을 저장, 적재, 질의 및 추론할 수 있는 트리플 저장소 특성에 가장 적합한 시스템 구조를 선정하기 위해 대용량 처리 능력, 데이터 처리 속도 및 안정성의 측면에서 연합 DBMS와 맵리듀스를 분석하는데 초점을 맞추고 있다. 분석 결과는 대용량 데이터 기반 트리플 저장소의 특성과 아키텍처의 유연성 및 향후 성능 개선 가능성을 판단하는 요소로 활용하여 맵리듀스 방식을 대용량 트리플 저장소에 적합한 방식으로 선정하였다. 본 연구는 대용량 데이터 기반 트리플 저장소 개발의 방향 수립을 위한 기반 연구로서 중요한 가치를 가진다.