• 제목/요약/키워드: Pipeline computing

검색결과 57건 처리시간 0.088초

OpenCL을 활용한 이기종 파이프라인 컴퓨팅 기반 Spark 프레임워크 (Spark Framework Based on a Heterogenous Pipeline Computing with OpenCL)

  • 김대희;박능수
    • 전기학회논문지
    • /
    • 제67권2호
    • /
    • pp.270-276
    • /
    • 2018
  • Apache Spark is one of the high performance in-memory computing frameworks for big-data processing. Recently, to improve the performance, general-purpose computing on graphics processing unit(GPGPU) is adapted to Apache Spark framework. Previous Spark-GPGPU frameworks focus on overcoming the difficulty of an implementation resulting from the difference between the computation environment of GPGPU and Spark framework. In this paper, we propose a Spark framework based on a heterogenous pipeline computing with OpenCL to further improve the performance. The proposed framework overlaps the Java-to-Native memory copies of CPU with CPU-GPU communications(DMA) and GPU kernel computations to hide the CPU idle time. Also, CPU-GPU communication buffers are implemented with switching dual buffers, which reduce the mapped memory region resulting in decreasing memory mapping overhead. Experimental results showed that the proposed Spark framework based on a heterogenous pipeline computing with OpenCL had up to 2.13 times faster than the previous Spark framework using OpenCL.

Hop-by-Hop Dynamic Addressing Based Routing Protocol for Monitoring of long range Underwater Pipeline

  • Abbas, Muhammad Zahid;Bakar, Kamalrulnizam Abu;Ayaz, Muhammad;Mohamed, Mohammad Hafiz;Tariq, Moeenuddin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권2호
    • /
    • pp.731-763
    • /
    • 2017
  • In Underwater Linear Sensor Networks (UW-LSN) routing process, nodes without proper address make it difficult to determine relative sensor details specially the position of the node. In addition, it effects to determine the exact leakage position with minimized delay for long range underwater pipeline monitoring. Several studies have been made to overcome the mentioned issues. However, little attention has been given to minimize communication delay using dynamic addressing schemes. This paper presents the novel solution called Hop-by-Hop Dynamic Addressing based Routing Protocol for Pipeline Monitoring (H2-DARP-PM) to deal with nodes addressing and communication delay. H2-DARP-PM assigns a dynamic hop address to every participating node in an efficient manner. Dynamic addressing mechanism employed by H2-DARP-PM differentiates the heterogeneous types of sensor nodes thereby helping to control the traffic flows between the nodes. The proposed dynamic addressing mechanism provides support in the selection of an appropriate next hop neighbour. Simulation results and analytical model illustrate that H2-DARP-PM addressing support distribution of topology into different ranges of heterogeneous sensors and sinks to mitigate the higher delay issue. One of the distinguishing characteristics of H2-DARP-PM has the capability to operate with a fewer number of sensor nodes deployed for long-range underwater pipeline monitoring.

Pipeline 유전자 알고리즘 프로세서(GAP)의 (Performance Evaluation of Pipeline Genetic Algorithm Processor)

  • 김태훈;이동욱;이홍기;심귀보
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2002년도 추계학술대회 및 정기총회
    • /
    • pp.379-382
    • /
    • 2002
  • GA(Genetic Algorithm)는 자연계 진화를 모방한 계산 알고리즘으로서 단순하고 응용이 쉽기 때문에 여러 분야에 사용되고 있다. 하지만 GA의 단점은 일반적인 소프트웨어로 동작시켰을 때는 실행속도가 느리다는 것이다. 특히 chromosome이 길 경우 연속적인 교차, 돌연변이를 수행해야한다. GA Processor(GAP)는 GA를 수행하기위한 전용 Processor로서 GA의 동작을 빨리 수행할 수 있게 한다. 본 논문에서는 pipeline 구조의 GAP를 설계하여 GA를 수행함에 있어 소프트웨어와 하드웨어의 성능을 비교한다.

HPC 환경의 대용량 유전체 분석을 위한 염기서열정렬 성능평가 (Evaluation of Alignment Methods for Genomic Analysis in HPC Environment)

  • 임명은;정호열;김민호;최재훈;박수준;최완;이규철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권2호
    • /
    • pp.107-112
    • /
    • 2013
  • 인간 유전체 지도 완성 후 NGS 기술의 발달로 대용량 유전체 데이터 분석에 대한 요구가 증대하였다. NGS 데이터는 대용량의 단편서열로 구성되므로 효과적인 분석을 위해 고성능 컴퓨팅 기술의 지원이 요구된다. 본 연구에서는 HPC 환경에서 NGS 데이터로부터 SNP를 탐색하는 유전체 분석 파이프라인을 구축하였다. 각 분석 단계의 CPU 이용률 분석을 통해 분석 단계 중 서열 정렬 단계가 연산 작업의 비율이 가장 높은 것을 확인하고, 공개된 병렬화 서열 정렬 도구들의 성능을 분석하여 유전체 분석를 위한 매니코어 프로세서의 활용 가능성을 확인하였다.

Implementation of AIoT Edge Cluster System via Distributed Deep Learning Pipeline

  • Jeon, Sung-Ho;Lee, Cheol-Gyu;Lee, Jae-Deok;Kim, Bo-Seok;Kim, Joo-Man
    • International journal of advanced smart convergence
    • /
    • 제10권4호
    • /
    • pp.278-288
    • /
    • 2021
  • Recently, IoT systems are cloud-based, so that continuous and large amounts of data collected from sensor nodes are processed in the data server through the cloud. However, in the centralized configuration of large-scale cloud computing, computational processing must be performed at a physical location where data collection and processing take place, and the need for edge computers to reduce the network load of the cloud system is gradually expanding. In this paper, a cluster system consisting of 6 inexpensive Raspberry Pi boards was constructed to perform fast data processing. And we propose "Kubernetes cluster system(KCS)" for processing large data collection and analysis by model distribution and data pipeline method. To compare the performance of this study, an ensemble model of deep learning was built, and the accuracy, processing performance, and processing time through the proposed KCS system and model distribution were compared and analyzed. As a result, the ensemble model was excellent in accuracy, but the KCS implemented as a data pipeline proved to be superior in processing speed..

H.264/AVC의 인트라 예측 병렬 파이프라인 실행 알고리즘 (A Parallel Pipeline Execution Algorithm for H.264/AVC Intra Prediction)

  • 허가열;조효문;조상복
    • 대한전자공학회논문지SP
    • /
    • 제45권5호
    • /
    • pp.79-86
    • /
    • 2008
  • H.264/AVC는 ITU-T와 ISO/IEC 표준화 단체에서 개발한 차세대 국제 영상압축 표준규격으로 이는 H.261, H.263, MPEG-4 등에 비해 더 좋은 압축 효율을 제공한다. 그러나 전체 인트라 모드에 대해 검색이 수행되므로 연산복잡성이 더욱 증가하는 문제와 하드웨어 자원의 낭비가 발생한다. 따라서 본 논문은 두 개의 프로세서 유닛 기반의 병렬 파이프라인 구조로 표준 모델에 비해 연산 복잡 도를 67% 감소시켰고, 부호화 순서를 병렬 파이프라인 구조에 적합하도록 변화시켜 기존 병렬구조에 비해 하드웨어 자원 낭비를 3% 감소시켰다.

A Capacitor Mismatch Error Cancelation Technique for High-Speed High-Resolution Pipeline ADC

  • Park, Cheonwi;Lee, Byung-Geun
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제3권4호
    • /
    • pp.161-166
    • /
    • 2014
  • An accurate gain-of-two amplifier, which successfully reduces the capacitor mismatch error is proposed. This amplifier has similar circuit complexity and linearity improvement to the capacitor error-averaging technique, but operates with two clock phases just like the conventional pipeline stage. This makes it suitable for high-speed, high-resolution analog-to-digital converters (ADCs). Two ADC architectures employing the proposed accurate gain-of-two amplifier are also presented. The simulation results show that the proposed ADCs can achieve 15-bit linearity with 8-bit capacitor matching.

Scalable Big Data Pipeline for Video Stream Analytics Over Commodity Hardware

  • Ayub, Umer;Ahsan, Syed M.;Qureshi, Shavez M.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권4호
    • /
    • pp.1146-1165
    • /
    • 2022
  • A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.

파이프라인 기반 워크플로우의 우선 데이터 처리 방안 (Priority Data Handling in Pipeline-based Workflow)

  • 전원표;허대영;황선태
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권12호
    • /
    • pp.691-697
    • /
    • 2017
  • 백두산 및 한반도 주변의 화산재해에 의한 피해는 화산재에 의한 것으로 예상된다. 따라서 기 상장 상황에 따른 화산재 확산 상황을 컴퓨터 시뮬레이션을 통해서 예측하는데 정해진 시간 안에 계산을 끝내야 하므로 계산에 사용되는 소프트웨어들을 파이프라인 방식으로 병렬화하는 워크플로우가 제안되었다. 또한 화산재해의 특성 상 화산 폭발이 발생한 순간에도 시뮬레이션을 위한 정확한 파라미터 값이 정해지지 않으므로 여러 가지 가능한 조건의 시뮬레이션을 모두 수행해야 한다. 만일 이 중에 가장 가능성이 높은 조건의 계산을 먼저 수행할 수 있으면 화산재해에 대해 이를 토대로 일단 대응하고 후속 계산 결과에 의해 추후 보완하는 것이 가능해질 것이다. 그런데 이런 계산 들은 화산재해 피해예측 시스템의 제한된 성능의 계산 서버에서 수행되므로 계산 자원을 적절히 분배하는 일이 필요하다. 이를 위해서 기존에 제안되었던 파이프라인 기반의 워크플로우에 특정 데이터를 먼저 생성하는 기능을 추가하는 방안을 제안한다.

그리드 컴퓨팅을 이용한 BLAST 성능개선 및 유전체 서열분석 시스템 구현 (Performance Improvement of BLAST using Grid Computing and Implementation of Genome Sequence Analysis System)

  • 김동욱;최한석
    • 한국콘텐츠학회논문지
    • /
    • 제10권7호
    • /
    • pp.81-87
    • /
    • 2010
  • 본 논문에서는 현재 생물정보학 연구에서 가장 많이 사용하고 있는 BLAST의 문제점을 분석하고 이에 따른 해결책을 제시하기 위하여 그리드 컴퓨팅을 이용한 G-BLAST(Grid Computing을 이용한 Basic Local Alignment Search Tool)를 제안한다. 본 연구에서 제안하고 있는 G-BLAST을 이용한 시스템은 이기종 분산 환경에서 수행이 가능한 서열분석 통합 소프트웨어 패키지이며 기존 서열분석 서비스의 취약점인 검색 성능을 개선하여 BLAST 검색 기능을 강화 하였다. 또한, BLAST 결과를 사용자가 관리 및 분석이 용이하도록 데이터베이스 및 유전체 서열분석 서비스 시스템을 구현하였다. 본 논문에서는 G-BLAST시스템의 성능확인을 위하여 병렬컴퓨팅 성능테스트 기법을 도입하여 구현된 시스템을 기존 BLAST와 속도 및 효율부분에서 비교하여 성능개선을 확인하였으며 서열결과 분석에 필요한 자료를 사용자관점에서 제공해주고 있다.