• Title/Summary/Keyword: 비병렬 데이터

Search Result 303, Processing Time 0.03 seconds

Parallelism point selection in nested parallelism situations with focus on the bandwidth selection problem (평활량 선택문제 측면에서 본 중첩병렬화 상황에서 병렬처리 포인트선택)

  • Cho, Gayoung;Noh, Hohsuk
    • The Korean Journal of Applied Statistics
    • /
    • v.31 no.3
    • /
    • pp.383-396
    • /
    • 2018
  • Various parallel processing R packages are used for fast processing and the analysis of big data. Parallel processing is used when the work can be decomposed into tasks that are non-interdependent. In some cases, each task decomposed for parallel processing can also be decomposed into non-interdependent subtasks. We have to choose whether to parallelize the decomposed tasks in the first step or to parallelize the subtasks in the second step when facing nested parallelism situations. This choice has a significant impact on the speed of computation; consequently, it is important to understand the nature of the work and decide where to do the parallel processing. In this paper, we provide an idea of how to apply parallel computing effectively to problems by illustrating how to select a parallelism point for the bandwidth selection of nonparametric regression.

Improving Performance of Database Backup via Parallel Index Scan (데이터베이스 백업 성능 향상을 위한 병렬 인덱스 스캔 기법)

  • Lee, Min-uk;Han, Jaehyun;Son, Yongseok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.54-56
    • /
    • 2021
  • 데이터베이스 백업은 데이터베이스 데이터를 보존 및 복구하기 위해 사용되는 필수 기법이다. 이를 위해 데이터베이스 관리 시스템(Database Management System)에서는 백업 기능을 수행하는 응용을 제공한다. 하지만 이러한 백업 응용은 기존 HDD 의 특성을 고려하여 설계 및 구현되어있기 때문에 최근 주로 사용되고 있는 저장장치인 SSD 에서는 SSD 의 성능을 최대한 이끌어내지 못하고 있다. 예를 들어, 기존 백업 응용에서는 단일 스레드가 백업을 위한 데이터를 순차적으로 접근하고 풀 스캔 방식으로 백업을 수행한다. 따라서 본 연구에서는 SSD 의 병렬적 특성을 활용하여 백업 응용의 성능을 극대화시키는 것을 목표로 한다. 이를 위해 본 논문은 병렬 인덱스 스캔 기법을 제시한다. 제안한 기법은 기존 백업 기법과 달리 멀티 스레드를 활용하여 인덱스 스캔을 수행하고 병렬적으로 데이터에 접근하여 백업을 수행한다. 해당 기법은 기존 기법에 비해 최대 2.5 배 성능을 향상시켰다.

Analysis of Performance Improvement by Adopting a Multistage Parallel Interferece Canceller and a Partial Multistage Parallel Interference Canceller on the Asynchronous DS-CDMA/M-ary QAM Systems (비동기 DS-CDMA/M-ary QAM 시스템에서 다단병렬간섭제거기와 부분 다단병렬간섭제거기에 의한 성능 개선 분석)

  • 김봉철;오창헌;최충열;조성준
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.26 no.6A
    • /
    • pp.929-938
    • /
    • 2001
  • CDMA 2000 1X EV.(HDR, 1XTREME, LAS-CDMA)에서는 고속데이터 전송을 위한 변조방식으로 M-ary QAM을 제안하고 있다. 그러나, M-ary QAM을 사용한 DS-CDMA 시스템은 고속 데이터 전송이 가능한 반면에 M-ary 수가 증가할수록 잡음(AWGN)과 타 사용자에 의한 다중접속간섭(MAI)의 영향이 커져 비트에러율(BER)이 증가하고 채널용량이 급격히 줄어드는 문제점이 있다. 따라서, DS-CDMA/M-ary QAM 시스템에서 많은 사용자에게 고속의 데이터 서비스를 제공하기 위해서는 잡음을 줄이거나 MAI를 경감시킬 수 있는 성능 개선 기법이 요구된다. 본 논문에서는 성능 개선 기법으로서 다단병렬간섭제거기(MPIC : Multistage Parallel Interference Canceller)와 부분 다단병렬간섭제거기(partial MPIC)를 채용한 비동기 DS-CDMA/M-ary QAM 시스템의 성능 개선을 이론적으로 분석하고 이를 검증하기 위한 컴퓨터 시뮬레이션을 수행하였다. 결과에서, MPIC와 partial MPIC를 채용함으로써 4 QAM, 16 QAM 및 64 QAM을 사용한 DS-CDMA 시스템의 BER과 채널용량이 크게 개선됨을 확인하였다. MPIC를 채용한 경우는 AWGN 채널의 BER에 근접하였다. 또한, MPIC는 partial MPIC보다 BER 성능이 우수하였으며 더 많은 채널용량 개선을 달성하였다. 그러나, MPIC는 partial MPIC 보다 계산량이 훨씬 많고 복잡한 구조를 갖기 때문에 실제 시스템 구현에 있어서 성능과 복잡도 사이에 타협(tradeoff)이 필요하다.

  • PDF

An Improved CYK Algorithm based on GPGPU (GPGPU 기반의 개선된 CYK 알고리즘)

  • Kim, Kyoung-Hwan;Han, Yo-Sub
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.409-410
    • /
    • 2012
  • 범용 계산에 GPU를 활용하는 GPGPU 연구가 활발히 이루어지고 있다. 기존 연구에서 사용된 병렬화 기법은 데이터 이동시 GPU의 유휴자원을 잘 활용하지 못한다. 우리는 스트림 기법을 이용하여 CPU-GPU간 데이터 이동과 GPU내 연산을 동시에 실행시켜 데이터 이동시 GPU의 유휴자원을 최대한 활용하여 성능을 향상한다. 제안된 방식은 기존의 병렬화 방법에 비해 약 1.1배 향상된 성능을 나타낸다.

Controlled Korean Style Transfer using BERT (BERT을 이용한 한국어 문장의 스타일 변화)

  • Lee, Joosung;Oh, Yeontaek;Byun, hyunjin;Min, Kyungkoo
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.395-399
    • /
    • 2019
  • 생성 모델은 최근 단순히 기존 데이터를 증강 시키는 것이 아니라 원하는 속성을 가지도록 스타일을 변화시키는 연구가 활발히 진행되고 있다. 스타일 변화 연구에서 필요한 병렬 데이터 세트는 구축하는데 많은 비용이 들기 때문에 비병렬 데이터를 이용하는 연구가 주를 이루고 있다. 이러한 방법론으로 이미지 분야에서 대표적으로 cycleGAN[1]이 있으며 최근 자연어 처리 분야에서도 많은 연구가 진행되고 있다. 많은 논문들이 사용하는 데이터도메인은 긍정 문장과 부정 문장 사이를 변화시키는 것이다. 본 연구에서는 한국어 영화리뷰 데이터 세트인 NSMC[2]를 이용한 감성 변화를 하는 문장생성에 대한 연구로 자연어 처리에서 좋은 성능을 보여주는 BERT[8]를 생성모델에 이용하였다.

  • PDF

Proposal for Decoding-Compatible Parallel Deflate Algorithm by Inserting Control Header Composed of Non-Compressed Blocks (비 압축 블록으로 구성된 제어 헤더 삽입을 통한 압축 해제 호환성 있는 병렬 처리 Deflate 알고리즘 제안)

  • Kim Jung Hoon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.5
    • /
    • pp.207-216
    • /
    • 2023
  • For decoding-compatible parallel Deflate algorithm, this study proposed a new method of the control header being made in such a way that essential information for parallel compression and decompression are stored in the Disposed Bit Area (DBA) of the non-compression block and being inserted into the compressed blocks. Through this, parallel compression and decompression are possible while maintaining perfect compatibility with the existing decoder. After applying this method, the compression time was reduced by up to 71.2% compared to the sequential processing method, and the parallel decompression time was reduced by up to 65.7%. In particular, it is well known that parallel decompression is impossible due to the structural limitations of the Deflate algorithm. However, the decoder equipped with the proposed method enables high-speed parallel decompression at the algorithm level and maintains compatibility, so that parallelly compressed data can be decoded normally by existing decoder programs.

A Parallel Emulation Scheme for Data-Flow Architecture on Loosely Coupled Multiprocessor Systems (이완 결합형 다중 프로세서 시스템을 사용한 데이터 플로우 컴퓨터 구조의 병렬 에뮬레이션에 관 한 연구)

  • 이용두;채수환
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.18 no.12
    • /
    • pp.1902-1918
    • /
    • 1993
  • Parallel architecture based on the von Neumann computation model has a limitation as a massively parallel architecture due to its inherent drawback of architectural features. The data-flow model of computation has a high programmability in software perspective and high scalability in hardware perspective. However, the practical programming and experimentaion of date-flow architectures are hardly available due to the absence of practical data-flow, we present a programming environment for performing the data-flow computation on conventional parallel machines in general, loosely compled multiprocessor system in particular. We build an emulator for tagged token data-flow architecture on the iPSC/2 hypercube, a loosely coupled multiprocessor system. The emulator is a shallow layer of software executing on an iPSC/2 system, and thus makes the iPSC/2 system work as a data-flow architecture from the programmer`s viewpoint. We implement various numerical and non-numerical algorithm in a data-flow assembler language, and then compare the performance of the program with those of the versions of conventional C language, Consequently, We verify the effectiveness of this programming environment based on the emulator in experimenting the data-flow computation on a conventional parallel machine.

  • PDF

Study of Motion Effects in Cartesian and Spiral Parallel MRI Using Computer Simulation (컴퓨터 시뮬레이션을 이용한 직각좌표 및 나선주사 방식의 병렬 자기공명 영상에서 움직임 효과 연구)

  • Park, Sue-Kyeong;Ahn, Chang-Beom;Sim, Dong-Gyu;Park, Ho-Chong
    • Investigative Magnetic Resonance Imaging
    • /
    • v.12 no.2
    • /
    • pp.123-130
    • /
    • 2008
  • Purpose : Motion effects in parallel magnetic resonance imaging (MRI) are investigated. Parallel MRI is known to be robust to motion due to its reduced acquisition time. However, if there are some involuntary motions such as heart or respiratory motions involved during the acquisition of the parallel MRI, motion artifacts would be even worse than those in conventional (non-parallel) MRI. In this paper, we defined several types of motions, and their effects in parallel MRI are investigated in comparisons with conventional MRI. Materials and Methods : In order to investigate motion effects in parallel MRI, 5 types of motions are considered. Type-1 and 2 are periodic motions with different amplitudes and periods. Type-3 and 4 are segment-based linear motions, where they are stationary during the segment. Type-5 is a uniform random motion. For the simulation, Cartesian and spiral grid based parallel and non-parallel (conventional) MRI are used. Results : Based on the motions defined, moving artifacts in the parallel and non-parallel MRI are investigated. From the simulation, non-parallel MRI shows smaller root mean square error (RMSE) values than the parallel MRI for the periodic (type-1 and 2) motions. Parallel MRI shows less motion artifacts for linear(type-3 and 4) motions where motions are reduced with shorter acquisition time. Similar motion artifacts are observed for the random motion (type-5). Conclusion : In this paper, we simulate the motion effects in parallel MRI. Parallel MRI is effective in the reduction of motion artifacts when motion is reduced by the shorter acquisition time. However, conventional MRI shows better image quality than the parallel MRI when fast periodic motions are involved.

  • PDF

A 2-Dimension Torus-based Genetic Algorithm for Multi-disk Data Allocation (2차원 토러스 기반 다중 디스크 데이터 배치 병렬 유전자 알고리즘)

  • 안대영;이상화;송해상
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.41 no.2
    • /
    • pp.9-22
    • /
    • 2004
  • This paper presents a parallel genetic algorithm for the Multi-disk data allocation problem an NP-complete problem. This problem is to find a method to distribute a Binary Cartesian Product File on disk-arrays to maximize parallel disk I/O accesses. A Sequential Genetic Algorithm(SGA), DAGA, has been proposed and showed the superiority to the other proposed methods, but it has been observed that DAGA consumes considerably lengthy simulation time. In this paper, a parallel version of DAGA(ParaDAGA) is proposed. The ParaDAGA is a 2-dimension torus-based Parallel Genetic Algorithm(PGA) and it is based on a distributed population structure. The ParaDAGA has been implemented on the parallel computer simulated on a single processor platform. Through the simulation, we study the impact of varying ParaDAGA parameters and compare the quality of solution derived by ParaDAGA and DAGA. Comparing the quality of solutions, ParaDAGA is superior to DAGA in all cases of configurations in less simulation time.

A Study on The Grid File Construction Method based on MapReduce for Multidimensional Data Processing (다차원 데이터 처리를 위한 맵리듀스 기반의 그리드 파일 생성기법에 관한 연구)

  • Jung, Joo-Hyuk;Lee, Sang-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.77-80
    • /
    • 2014
  • 최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.