• 제목/요약/키워드: parallel io

검색결과 40건 처리시간 0.023초

범용 병렬화일 시스템 상에서 MPI-IO 방안의 성능 평가 벤티마크 (Benchmarks for Performance Testing of MPI-IO on the General Parallel File System)

  • 박성순
    • 정보처리학회논문지A
    • /
    • 제8A권2호
    • /
    • pp.125-132
    • /
    • 2001
  • IBM developed the MPI-IO, we call it MPI-2, on the General Parallel File System. We designed and implemented various Matrix Multiplication Benchmarks to evaluate its performances. The MPI-IO on the General Parallel File System shows four kinds of data access methods : the non-collective and blocking, the collective and blocking, the non-collective and non-blocking, and the split collective operation. In this paper, we propose benchmarks to measure the IO time and the computation time for the data access methods. We describe not only its implementation but also the performance evaluation results.

  • PDF

MPI-IO의 CrownFS 지원 방안 (Supporitng for CrownFS in MPI-IO)

  • 조미옥;강봉직;최경희;정기현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.636-638
    • /
    • 2000
  • 가장 느린 서비스시템인 I/O의 성능이 전체적인 컴퓨터 시스템의 성능을 결정짓게 된다. 따라서 전반적인 시스템의 성능 향상을 위해서는 I/O의 성능이 높아져야 한다. 분산병렬환경에서 I/O의 성능을 높이기 위해서 parallel I/O를 사용한다. 하위레벨에서 최적화된 병렬 파일시스템을 사용하고, 어플리케이션 레벨에서 병렬 에플리케이션의 개발을 쉽게 해줄 수 있는 인터페이스를 사용하면 더 효과적인 parallel I/O를 구현할 수 있다. 본 논문에서는 MPI에서 병렬 파일시스템인 CrownFS를 지원하도록 하기 위해서 MPI-IO에 CrownFS를 추가하여 병렬환경에서 높은 성능을 나타낼수 있는 parallel I/O 환경을 구현한다.

  • PDF

IoT/에지 컴퓨팅에서 저전력 메모리 아키텍처의 개선 연구 (A Study on Improvement of Low-power Memory Architecture in IoT/edge Computing)

  • 조두산
    • 한국산업융합학회 논문집
    • /
    • 제24권1호
    • /
    • pp.69-77
    • /
    • 2021
  • The widely used low-cost design methodology for IoT devices is very popular. In such a networked device, memory is composed of flash memory, SRAM, DRAM, etc., and because it processes a large amount of data, memory design is an important factor for system performance. Therefore, each device selects optimized design factors such as function, performance and cost according to market demand. The design of a memory architecture available for low-cost IoT devices is very limited with the configuration of SRAM, flash memory, and DRAM. In order to process as much data as possible in the same space, an architecture that supports parallel processing units is usually provided. Such parallel architecture is a design method that provides high performance at low cost. However, it needs precise software techniques for instruction and data mapping on the parallel architecture. This paper proposes an instruction/data mapping method to support optimized parallel processing performance. The proposed method optimizes system performance by actively using hardware and software parallelism.

대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법 (RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data)

  • 권순현;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.686-698
    • /
    • 2014
  • 최근 스마트폰의 폭발적인 보급, IoT와 클라우드 컴퓨팅 기술의 고도화, 그리고 IoT 디바이스의 보편화로 대용량 스트리밍 센싱데이터가 출현하였다. 또한 이를 기반으로 데이터의 공유와 매쉬업 통해 새로운 데이터의 가치를 창출하기 위한 요구사항의 증대로 대용량 스트리밍 센싱데이터 환경에서 시맨틱웹 기술과의 접목에 관한 연구가 활발히 진행되고 있다. 하지만 데이터의 대용량성 스트리밍성으로 인해 새로운 지식을 도출하기 위한 지식 추론분야에서 많은 이슈들에 직면하고 있다. 이러한 배경하에, 본 논문에서는 IoT 환경에서 발생하는 대용량 스트리밍 센싱데이터를 시맨틱웹 기술로 처리하여 서비스하기 위해 RDFS 규칙기반 병렬추론 기법을 제시한다. 제안된 기법에서는 기존의 규칙추론 알고리즘인 Rete 알고리즘을 하둡프레임워크 맵리듀스를 통해 병렬로 수행하고, 공용 스토리지로서 하둡 데이터베이스인 HBase를 사용하여 데이터를 공유한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센싱데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하고, 이를 입증한다.

스트림-리즈닝을 위한 실시간 사물인터넷 빅-데이터 처리 (Real-Time IoT Big-data Processing for Stream Reasoning)

  • 윤창호;박종원;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.1-9
    • /
    • 2017
  • 스마트-시티는 스마트-시티의 사물인터넷(Internet of Things: IoT) 디바이스를 비롯한 수많은 인프라를 지능적으로 관리하고, 다양한 스마트 어플리케이션을 도시민에게 제공한다. 스마트-시티에서는 스마트-시티 어플리케이션에서 필요한 다양한 정보를 제공하기 위하여 수많은 사물인터넷 기기들로부터 끊임없이 발생하는 대규모의 스트림 빅-데이터를 지능적으로 처리하는 기능이 필요하다. 하지만, 스마트-시티에서 대규모의 스트림 빅-데이터를 처리하는 것에는 실시간 처리와 관련된 제약들이 존재한다. 본 스마트-시티-사업단에서는 선행 연구에서 스마트-시티미들웨어와 이를 이용한 스트림-리즈닝 방법론 및 시스템을 개발하였다. 스마트-시티에서 스마트 서비스를 제공하기 위하여, 스마트-시티-사업단에서는 스트림-리즈닝을 사용하는 방법론을 사용한다. 이 스트림-리즈닝은 대용량 데이터의 실시간 처리를 필요로 한다. 따라서, 후속연구로서 스마트-시티미들웨어의 클라우드-컴퓨팅 플랫폼을 이용하여 스트림-리즈닝을 위한 실시간 분산병렬처리 클라우드-컴퓨팅 방법론과 시스템을 개발하였다. 본 논문에서는 스마트-시티에서 발생하는 사물인터넷 빅-데이터를 스트림-리즈닝에 사용하기 위하여 이 후속연구에서 개발된 클라우드 기반 실시간 분산병렬처리 연구결과를 소개한다. 스마트-시티의 각종 센서들로부터 전송되어지는 사물인터넷 빅-데이터를 사용하여 스트림-리즈닝하는 데 필요한 클라우드-컴퓨팅 기반의 실시간 분산처리 방법론과 시스템을 소개하고 있으며, 이 방법론을 선행연구에서 개발한 스마트-시티 미들웨어에 구현하여 실시간 분산처리 성능을 평가한 것을 소개한다.

병렬 프로그램에서의 효율적인 대용량 파일 입출력 방식의 비교 연구 (Research for Efficient Massive File I/O on Parallel Programs)

  • 황규현;김영태
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.53-60
    • /
    • 2017
  • 분산 메모리형의 병렬 프로그램에서는 프로세서들이 독립적으로 입출력을 처리하기 때문에 여러 유형의 파일 입출력 방식이 사용된다. 본 논문에서는 분산 메모리형 병렬 프로그램에서의 대용량 파일에 대한 효율적인 입출력 방식을 알아보기 위하여 다양한 방식을 구현하고 비교 분석하였다. 구현된 방식으로는 (i) NFS를 활용한 병렬 입출력 방식, (ii) 호스트 프로세서에서의 순차 입출력과 도메인 분산 방식, 그리고 (iii) 메시지 전송 전용 입출력(MPI-IO) 방식 등이 있다. 성능 분석을 위해서 별도의 파일 서버를 사용하였으며 한 대 및 두 대의 계산 클라이언트에서 다중 프로세서를 사용하였다. 비교 분석 결과, 입력의 경우에는 NFS 병렬 입력 방식이, 출력의 경우에는 도메인 전송을 통한 순차 출력 방식이 가장 효율적으로 나타났으며, 예상과는 다르게 메시지 전송 전용 입출력 방식의 성능이 가장 낮게 나왔다.

사물인터넷 환경에서 대용량 스트리밍 센서데이터의 실시간·병렬 시맨틱 변환 기법 (Real-time and Parallel Semantic Translation Technique for Large-Scale Streaming Sensor Data in an IoT Environment)

  • 권순현;박동환;방효찬;박영택
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.54-67
    • /
    • 2015
  • 최근 사물인터넷 환경에서는 발생하는 센서데이터의 가치와 데이터의 상호운용성을 증진시키기 위해 시맨틱웹 기술과의 접목에 대한 연구가 활발히 진행되고 있다. 이를 위해서는 센서데이터와 서비스 도메인 지식의 융합을 위한 센서데이터의 시맨틱화는 필수적이다. 하지만 기존의 시맨틱 변환기술은 정적인 메타데이터를 시맨틱 데이터(RDF)로 변환하는 기술이며, 이는 사물인터넷 환경의 실시간성, 대용량성의 특징을 제대로 처리할 수 없는 실정이다. 따라서 본 논문에서는 사물인터넷 환경에서 발생하는 대용량 스트리밍 센서데이터의 실시간 병렬처리를 통해 시맨틱 데이터로 변환하는 기법을 제시한다. 본 기법에서는 시맨틱 변환을 위한 변환규칙을 정의하고, 정의된 변환규칙과 온톨로지 기반 센서 모델을 통해 실시간 병렬로 센서데이터를 시맨틱 변환하여 시맨틱 레파지토리에 저장한다. 성능향상을 위해 빅데이터 실시간 분석 프레임워크인 아파치 스톰을 이용하여, 각 변환작업을 병렬로 처리한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센서데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하여, 본 논문에서 제시된 기법을 입증한다.

Sim-Hadoop : 신뢰성 있고 효율적인 N-body 시뮬레이션을 위한 Hadoop 분산 파일 시스템과 병렬 I / O (Sim-Hadoop : Leveraging Hadoop Distributed File System and Parallel I/O for Reliable and Efficient N-body Simulations)

  • 아마드;이승룡;정태충
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.476-477
    • /
    • 2013
  • Gadget-2 is a scientific simulation code has been used for many different types of simulations like, Colliding Galaxies, Cluster Formation and the popular Millennium Simulation. The code is parallelized with Message Passing Interface (MPI) and is written in C language. There is also a Java adaptation of the original code written using MPJ Express called Java Gadget. Java Gadget writes a lot of checkpoint data which may or may not use the HDF-5 file format. Since, HDF-5 is MPI-IO compliant, we can use our MPJ-IO library to perform parallel reading and writing of the checkpoint files and improve I/O performance. Additionally, to add reliability to the code execution, we propose the usage of Hadoop Distributed File System (HDFS) for writing the intermediate (checkpoint files) and final data (output files). The current code writes and reads the input, output and checkpoint files sequentially which can easily become bottleneck for large scale simulations. In this paper, we propose Sim-Hadoop, a framework to leverage HDFS and MPJ-IO for improving the I/O performance of Java Gadget code.

IoT 센서의 시계열 데이터 정확도 향상을 위한 인공지능 기반 분류 기법 (Artificial Intelligence-based Classification Scheme to improve Time Series Data Accuracy of IoT Sensors)

  • 김진영;심이삭;윤성훈
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권4호
    • /
    • pp.57-62
    • /
    • 2021
  • 인공지능을 위한 병렬연산 능력이 향상됨에 따라 인공지능 적용 분야가 다양한 방향으로 확대되고 있다. 특히 방대한 데이터를 처리해야 하는 IoT센서의 데이터를 처리하기 위해 인공지능이 도입되고 있다. 하지만 시간에 따른 데이터의 중요도가 달라지는 IoT 시계열 데이터 특성상 기존의 인공지능 학습 기법을 그대로 적용하기에는 한계점이 있다. 본 과제에서는 IoT 센서 데이터를 효과적으로 처리하기 위해 시간가중치기반 및 사용자 상태값 기반 인공지능 처리기법을 연구한다. 상기 기법을 통해 기존 인공지능 학습을 적용시키는 것 보다 높은 센서 정확도를 확보 할 수 있게 된다. 이에 더해, 해당 연구를 기반으로 다양한 분야에서 인공지능 학습을 적용하는 방안을 제시하고, 지속적인 연구를 통해 다양한 분야로의 확장을 기대할 수 있다.

Applying Parallel Processing Technique in Parallel Circuit Testing Application for improve Circuit Test Ability in Circuit manufacturing

  • Prabhavat, Sittiporn;Nilagupta, Pradondet
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2005년도 ICCAS
    • /
    • pp.792-793
    • /
    • 2005
  • Circuit testing process is very important in IC Manufacturing there are two ways in research for circuit testing improvement. These are ATPG Tool Design and Test simulation application. We are interested in how to use parallel technique such as one-side communication, parallel IO and dynamic Process with data partition for circuit testing improvement and we use one-side communication technique in this paper. The parallel ATPG Tool can reduce the test pattern sets of the circuit that is designed in laboratory for make sure that the fault is not occur. After that, we use result for parallel circuit test simulation to find fault between designed circuit and tested circuit. From the experiment, We use less execution time than non-parallel Process. And we can set more parameter for less test size. Previous experiment we can't do it because some parameter will affect much waste time. But in the research, if we use the best ATPG Tool can optimize to least test sets and parallel circuit testing application will not work. Because there are too little test set for circuit testing application. In this paper we use a standard sequential circuit of ISCAS89.

  • PDF