• 제목/요약/키워드: Distributed Data pipeline

검색결과 23건 처리시간 0.024초

맵리듀스를 이용한 정렬 기반의 데이터 큐브 분산 병렬 계산 알고리즘 (Sort-Based Distributed Parallel Data Cube Computation Algorithm using MapReduce)

  • 이수안;김진호
    • 전자공학회논문지
    • /
    • 제49권9호
    • /
    • pp.196-204
    • /
    • 2012
  • 최근 많은 응용 분야에서 대규모 데이터에 대해 온라인 다차원 분석(OLAP)을 사용하고 있다. 다차원 데이터 큐브는 OLAP 분석에서 핵심 도구로 여긴다. 본 논문에서는 맵리듀스 분산 병렬 처리를 이용하여 효율적으로 데이터 큐브를 계산하는 방법을 연구하고자 한다. 이를 위해, 맵리듀스 프레임워크에서 데이터 큐브 계산 방법으로 잘 알려진 PipeSort 알고리즘을 구현하는 효율적인 방법에 대해서 살펴본다. PipeSort는 데이터 큐브의 한 큐보이드에서 동일한 정렬 순서를 갖는 여러 큐보이드를 한 파이프라인으로 한꺼번에 계산하는 효율적인 방식이다. 이 논문에서는 맵리듀스 프레임워크에서 PipeSort의 파이프라인을 구현한 네 가지 방법을 20대의 서버에서 수행하였다. 실험 결과를 보면, 고차원 데이터에 대해서는 PipeMap-NoReduce 알고리즘이 우수한 성능을 보였으며, 저차원 데이터에 대해서는 Post-Pipe 알고리즘이 더 우수함을 보였다.

무선 네트워크에서 파이프라인 네트워크 코딩 기반 메시지 및 노드 인증 (PNC(Pipeline Network Coding)-Based Message and Node Authentication in Wireless Networks)

  • 안명기;조영종;강경란
    • 한국통신학회논문지
    • /
    • 제42권5호
    • /
    • pp.999-1008
    • /
    • 2017
  • 본 논문에서는 무선 네트워크 환경에서 효율적인 데이터 전달을 위한 파이프라인 네트워크 코딩(Pipeline Network Coding) 기법과 데이터의 무결성을 검증하기 위한 데이터 인증 기법, 가상 송신자에 대한 노드 인증 기법을 제안한다. 파이프라인 네트워크 코딩 기법은 네트워크 코딩을 수행하는 중계 노드가 송신자 대신 데이터를 전달함으로써 전체적인 네트워크 성능을 향상시키는 기법이다. 그러나 네트워크 코딩은 악의적인 공격자가 데이터를 위 변조하여 네트워크에 주입하는 공격인 오염 공격(pollution attack)에 취약하다. 이를 방어하기 위해 HMAC(Hash-based Message Authentication Code)을 사용한다. 이때 데이터 인증에 사용되는 태그를 생성하기 위해서는 인증을 수행하는 노드들에게 키를 분배해야한다. 키 분배에 따른 오버헤드를 최소화하기 위해 해쉬 체인을 적용하였다. 가상 송신자에 대한 인증 기법으로는 null 벡터를 사용한다. 최종적으로 제안 기법에 대한 안전성과 복잡도를 분석하고, 시뮬레이션을 통해 성능을 분석하였다.

ECG 특징추출을 위한 하드웨어시스템의 설계 (Design of a hardware system for ECG feature extraction)

  • 이경중;윤형로;이명호
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1988년도 한국자동제어학술회의논문집(국내학술편); 한국전력공사연수원, 서울; 21-22 Oct. 1988
    • /
    • pp.697-700
    • /
    • 1988
  • This paper describes the design of a hardware system for ECG feature extraction based on pipeline processor consisting of three computers. ECG data is acquisited by 12 bit A/D converter with hardware QRS triggred detector. Four diagnostic parameters-heart, axis, and ST axis, and ST segment are used for the classification and the diagnosis of arrhythmia. The functions of the main CPU were distributed and processed with three microcomputers. Therefore the effective data process and the real time process using microcomputer can be obtained. The interconnection structure consisting of two common memory units is designed to decrease the delay time caused by data transfer between processors and designed by which the delay time can be taken 1% of one clock period.

  • PDF

그리드 컴퓨팅을 이용한 BLAST 성능개선 및 유전체 서열분석 시스템 구현 (Performance Improvement of BLAST using Grid Computing and Implementation of Genome Sequence Analysis System)

  • 김동욱;최한석
    • 한국콘텐츠학회논문지
    • /
    • 제10권7호
    • /
    • pp.81-87
    • /
    • 2010
  • 본 논문에서는 현재 생물정보학 연구에서 가장 많이 사용하고 있는 BLAST의 문제점을 분석하고 이에 따른 해결책을 제시하기 위하여 그리드 컴퓨팅을 이용한 G-BLAST(Grid Computing을 이용한 Basic Local Alignment Search Tool)를 제안한다. 본 연구에서 제안하고 있는 G-BLAST을 이용한 시스템은 이기종 분산 환경에서 수행이 가능한 서열분석 통합 소프트웨어 패키지이며 기존 서열분석 서비스의 취약점인 검색 성능을 개선하여 BLAST 검색 기능을 강화 하였다. 또한, BLAST 결과를 사용자가 관리 및 분석이 용이하도록 데이터베이스 및 유전체 서열분석 서비스 시스템을 구현하였다. 본 논문에서는 G-BLAST시스템의 성능확인을 위하여 병렬컴퓨팅 성능테스트 기법을 도입하여 구현된 시스템을 기존 BLAST와 속도 및 효율부분에서 비교하여 성능개선을 확인하였으며 서열결과 분석에 필요한 자료를 사용자관점에서 제공해주고 있다.

MPI 브로드캐스트 통신을 위한 서킷 스위칭 기반의 파이프라인 체인 알고리즘 설계 (A Design of Pipeline Chain Algorithm Based on Circuit Switching for MPI Broadcast Communication System)

  • 윤희준;정원영;이용석
    • 한국통신학회논문지
    • /
    • 제37B권9호
    • /
    • pp.795-805
    • /
    • 2012
  • 본 논문에서는 분산 메모리 아키텍처를 사용하는 멀티프로세서에서 가장 병목 현상이 심한 집합통신 중 브로드캐스트를 위한 알고리즘 및 하드웨어 구조를 제안한다. 기존 시스템의 파이프라인 브로드캐스트 알고리즘은 전송 대역폭을 최대로 활용하는 알고리즘 이다. 하지만 파이프라인 브로드캐스트는 데이터를 여러 조각으로 나누어서 전송하기 때문에, 불필요한 동기화 과정이 반복된다. 본 논문에서는 동기화 과정의 중복이 없는 서킷 스위칭 기반의 파이프라인 체인 알고리즘을 위한 MPI 유닛을 설계하였고, 이를 systemC를 통하여 모델링하여 평가하였다. 그 결과 파이프라인 브로드캐스트 알고리즘과 비교하여 브로드캐스트 통신의 성능을 최대 3.3배 향상 시켰고, 이는 통신 버스의 전송대역폭을 거의 최대로 사용하였다. 그 후 verilogHDL로 하드웨어를 설계하였고, Synopsys사의 Design Compiler를 사용하여 TSMC 0.18 공정 라이브러리에서 합성하였으며 칩으로 제작하였다. 합성결과 제안하는 구조를 위한 하드웨어는 4,700 게이트(2-input NAND gate) 면적으로, 전체 면적에서 2.4%을 차지하였다. 이는 제안하는 구조가 작은 면적으로 MPSoC의 전체적인 성능을 높이는데 유용하다.

High-density genetic mapping using GBS in Chrysanthemum

  • Chung, Yong Suk;Cho, Jin Woong;Kim, Changsoo
    • 한국작물학회:학술대회논문집
    • /
    • 한국작물학회 2017년도 9th Asian Crop Science Association conference
    • /
    • pp.57-57
    • /
    • 2017
  • Chrysanthemum is one of the most important floral crop in Korea produced about 7 billion dollars (1 billion for pot and 6 billion for cutting) in 2013. However, it is difficult to breed and to do genetic study because 1) it is highly self-incompatible, 2) it is outcrossing crop having heterozygotes, and 3) commercial cultvars are hexaploid (2n = 6x = 54). Although low-density genetic map and QTL study were reported, it is not enough to apply for the marker assisted selection and other genetic studies. Therefore, we are trying to make high-density genetic mapping using GBS with about 100 $F_1s$ of C. boreale that is oHohhfd diploid (2n = 2x = 18, about 2.8Gb) instead of commercial culitvars. Since Chrysanthemum is outcrossing, two-way pseudo-testcross model would be used to construct genetic map. Also, genotype-by-sequencing (GBS) would be utilized to generate sufficient number of markers and to maximize genomic representation in a cost effective manner. Those completed sequences would be analyzed with TASSEL-GBS pipeline. In order to reduce sequence error, only first 64 sequences, which have almost zero percent error, would be incorporated in the pipeline for the analysis. In addition, to reduce errors that is common in heterozygotes crops caused by low coverage, two rare cutters (NsiI and MseI) were used to increase sequence depth. Maskov algorithm would also used to deal with missing data. Further, sparsely placed markers on the physical map would be used as anchors to overcome problems caused by low coverage. For this purpose, were generated from transcriptome of Chrysanthemum using MISA program. Among those, 10 simple sequence repeat (SSR) markers, which are evenly distributed along each chromosome and polymorphic between two parents, would be selected.

  • PDF

IP활용에 적합한 저전력 MCU CORE 설계 (Design of a Low Power MictoController Core for Intellectual Property applications)

  • 이광엽;이동엽
    • 한국정보처리학회논문지
    • /
    • 제7권2호
    • /
    • pp.470-476
    • /
    • 2000
  • 본 논문은 소자 수준의 설계방법 보다아키텍쳐와 같은사위수준의 설계방법을 적용하여 IP(Intellectual Property)에 활용하기 적합한 저전력 마이크로콘트롤러 코어 설계를 다루었다. 스위칭 캐패시턴스를 줄이기 위하여 자주 사용되는 레지스터 전달 마이크로 오퍼레이션에 레지스터간의 직접적인 전달 구조를 적용하였다. 입력데이터의 상승예지 시간을 줄이기 위하여 분산 버퍼구조를 제안하였다. 또한 성능저하 없이 소비전력을 줄이기 위하여 파이프라인 구조에 적용된다. 본 논문에서는 CISC 명령어를 처리하기에 적합한 파이프라인이 설계되었다. 설계된마이크로콘트롤러는 전력소모를 20%정도 감소시켰다. 전력소모를 측정하기 위해서는 SYNOPSYS의 EPIC powermill과 현대 0.6um CMOS 파라메터를 적용하였다.

  • PDF

이더넷 다중 클러스터에서 GHT의 병렬 분산 구현 (Parallel Distributed Implementation of GHT on Ethernet Multicluster)

  • 김영수;김명호;최흥문
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.96-106
    • /
    • 2009
  • 이더넷 클러스터에서 그 분산처리 규모를 확장하려면 스위치 당 최대포트 수(현재 48포트)에 의해 물리적 제약을 받는다. 본 연구에서는 MPI기반 이더넷 클러스터에서 일반화 허프변환(generalized Hough transform: GHT)의 분산처리 규모를 확장하기 위해 다수의 이더넷 스위치들로 다중 클러스터를 구현하고, 확장에 따른 통신 부담을 병렬분산 시간분석 모델 및 통신성능 모델로 분석한 후 고속화 구현하였다. 다중 클러스터 분산처리환경에서 가능한 작업분할 정책들에 대해 평가하고, 허프공간 누산기 배열분할(accumulator array partitioning: AAP)정책을 수정 적용하여 노드간의 통신회수와 통신시간을 최소화하였고, 노드 수의 증가에 따라 AAP 정책의 분할 데이터 범위를 크게 하고 그에 부합하는 부하균형 알고리즘도 구현하였다. 단일링크 병목을 갖는 클러스터간(intercluster) 통신지연을 최대한 줄이기 위하여 일감 분배에는 선형 파이프라인 방송을 사용하고, 작은 결과 메시지들의 수합(gathering)에는 선형 플랫트리(flat tree)를 사용함으로써 총체적으로 계산과 통신을 최대한 시간 중첩시켰다. 제안한 병렬분산 GHT를 이더넷 다중 클러스터 상에서 그 성능을 점근해석하고 실험하여, 4개 고속 이더넷 스위치로 128 노드의 MPI 기반 다중 클러스터를 구현하여 거의 선형에 가까운 속도제고율(speedup)을 확인하였다.

분산산술연산방식을 이용한 MPEG-1 오디오 계층 3 합성필터의 FPGA 군현 (An FPGA Implementation of the Synthesis Filter for MPEG-1 Audio Layer III by a Distributed Arithmetic Lookup Table)

  • 고성식;최현용;김종빈;구대성
    • 한국음향학회지
    • /
    • 제23권8호
    • /
    • pp.554-561
    • /
    • 2004
  • 반도체 기술과 멀티미디어 통신기술이 발달하면서 고품위 영상과 다중 채널의 오디오에 관심을 갖게 되었다. MPEG 오디오 계층 3 디코더는 표준안에 기반을 둔 프로세서로써 기존에 많이 구현되어 있다. MPBG-1오디오 계층3 디코더의 합성필터는 디코더 전체에서 가장 많은 연산을 필요로 하기 때문에 고속 프로세서를 설계하기 위해서는 연산량을 줄일 수 있는 새로운 방식의 합성필터를 필요로 한다. 따라서 본 논문에서는 MPEG-1 오디오 계층 3의 핵심부분인 합성필터 부분을 DALUT (distributed arithmetic look-up table)방식을 이용하여 FPGA (Field Programmable Gate Array)에 구현하였다. 고속 필터를 설계하기 위해서 승산기 대신에 DALUT방식을 사용하였고, 파이프라인 구조를 사용하였으며, 데이터를 코사인 함수와 곱셈한 결과를 테이블로 만듦으로써 곱셈기를 제거하여 30%의 성능향상을 얻었다. 본 논문에서의 하드웨어 설계는 모두 VHDL (VHSIC Hardware Description Language)로 기술하였다. VHDL 시뮬레이션은 ALDEC사의 Active-HDL 6.1과 Model-sim 및 합성은 Synplify Pro 7.2v을 사용하였다. 대상 라이브러리는 XILINX사의 XC4010E, XC4020BX, XC4052 XL, P&R 툴은 XACT Ml.4를 사용하여 구현하였다. 구현된 프로세서는 20MHz∼70MHz사이에서 동작한다.

다중 TMS320C31 DSP를 사용한 3-D 비젼센서 Implementation (A 3-D Vision Sensor Implementation on Multiple DSPs TMS320C31)

  • V.옥센핸들러;A.벤스하이르;P.미셰;이상국
    • 센서학회지
    • /
    • 제7권2호
    • /
    • pp.124-130
    • /
    • 1998
  • 독립적인 로보트나 자동차 제어 응용을 위하여 고속 3-D 비젼시스템들은 매우 중요하다. 이 논문은 다음과 같은 세가지 과정으로 구성되는 stereo vision process 개발에 대하여 논술한다 : 왼쪽과 오른쪽 이미지의 edges 추출, matching coresponding edges와 3-D map의 계산. 이 process는 VME 150/40 Imaging Technology vision system에서 이루어졌다. 이것은 display, acqusition, 4Mbytes image frame memory와 세 개의 연산 카드로 구성되는 modular system이다. 40 MHz로 작동하는 프로그래머불 연산 모듈은 $64{\times}32$ bit instruction cache와 두개의 $1024{\times}32$ bit RAM을 가진 TMS320C31 DSP에 기초를 두고 있다. 그것들은 각각 512 Kbyte static RAM, 4 Mbyte image memory, 1 Mbyte flash EEPROM과 하나의 직렬 포트로 구성되어있다. 모듈간의 데이터 전송과 교환은 8 bit globalvideo bus와 세 개의 local configurable pipeline 8 bit video bus에 의하여 이루어졌고, system management를 위하여 VME bus가 쓰였다. 두 개의 DSP는 왼쪽 및 오른쪽 이미지 edges 검출을 위하여 쓰였고 마지막 processor는 matching process와 3-D 연산에 사용되었다. $512{\times}512$픽셀 이미지에서 이 센서는 scene complexity에 따라 1Hz정도의 조밀한 3-D map을 생성했다. 특수목적의 multiprocessor card들을 사용하면 결과를 향상시킬 수 있을 것이다.

  • PDF