• 제목/요약/키워드: 비병렬 데이터

검색결과 303건 처리시간 0.039초

평활량 선택문제 측면에서 본 중첩병렬화 상황에서 병렬처리 포인트선택 (Parallelism point selection in nested parallelism situations with focus on the bandwidth selection problem)

  • 조가영;노호석
    • 응용통계연구
    • /
    • 제31권3호
    • /
    • pp.383-396
    • /
    • 2018
  • 빅데이터의 시대가 열림에 따라 데이터의 빠른 처리와 분석을 위한 방법의 하나로 R 프로그램 기반의 다양한 병렬처리 패키지가 사용되고 있다. 병렬처리는 수행하려는 작업이 상호의존적이지 않은 작업들로 분해될 수 있을 때 사용하게 되는데, 경우에 따라서는 병렬처리를 위해 분해된 각각의 작업들이 또 다시 상호의존적이지 않은 세부작업으로 분해되기도 한다. 이러한 중첩병렬화 상황에서는 일반적으로 처음 단계에서 분해된 작업들에 대해 병렬처리를 할지, 두 번째 단계에서 세분화되는 작업들에 대해 병렬처리를 할지 선택하게 된다. 그러한 선택이 계산 속도에 상당한 영향을 주는 경우가 많기 때문에 수행하고자 하는 작업의 상황에 따라 병렬처리를 실시할 곳을 잘 결정하는 것이 중요하다. 본 논문에서는 이러한 병렬화 포인트 선택이라는 문제에 대한 이해를 돕고 자신의 문제에 효과적으로 병렬컴퓨팅을 적용하려는 사람들에게 필요한 아이디어를 제공하려는 시도의 하나로 비모수적 함수 추정의 평활량 선택이라는 구체적인 통계문제에 대해 효율적인 계산을 위한 병렬화 포인트 선택 과정을 제시하였다.

데이터베이스 백업 성능 향상을 위한 병렬 인덱스 스캔 기법 (Improving Performance of Database Backup via Parallel Index Scan)

  • 이민욱;한재현;손용석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.54-56
    • /
    • 2021
  • 데이터베이스 백업은 데이터베이스 데이터를 보존 및 복구하기 위해 사용되는 필수 기법이다. 이를 위해 데이터베이스 관리 시스템(Database Management System)에서는 백업 기능을 수행하는 응용을 제공한다. 하지만 이러한 백업 응용은 기존 HDD 의 특성을 고려하여 설계 및 구현되어있기 때문에 최근 주로 사용되고 있는 저장장치인 SSD 에서는 SSD 의 성능을 최대한 이끌어내지 못하고 있다. 예를 들어, 기존 백업 응용에서는 단일 스레드가 백업을 위한 데이터를 순차적으로 접근하고 풀 스캔 방식으로 백업을 수행한다. 따라서 본 연구에서는 SSD 의 병렬적 특성을 활용하여 백업 응용의 성능을 극대화시키는 것을 목표로 한다. 이를 위해 본 논문은 병렬 인덱스 스캔 기법을 제시한다. 제안한 기법은 기존 백업 기법과 달리 멀티 스레드를 활용하여 인덱스 스캔을 수행하고 병렬적으로 데이터에 접근하여 백업을 수행한다. 해당 기법은 기존 기법에 비해 최대 2.5 배 성능을 향상시켰다.

비동기 DS-CDMA/M-ary QAM 시스템에서 다단병렬간섭제거기와 부분 다단병렬간섭제거기에 의한 성능 개선 분석 (Analysis of Performance Improvement by Adopting a Multistage Parallel Interferece Canceller and a Partial Multistage Parallel Interference Canceller on the Asynchronous DS-CDMA/M-ary QAM Systems)

  • 김봉철;오창헌;최충열;조성준
    • 한국통신학회논문지
    • /
    • 제26권6A호
    • /
    • pp.929-938
    • /
    • 2001
  • CDMA 2000 1X EV.(HDR, 1XTREME, LAS-CDMA)에서는 고속데이터 전송을 위한 변조방식으로 M-ary QAM을 제안하고 있다. 그러나, M-ary QAM을 사용한 DS-CDMA 시스템은 고속 데이터 전송이 가능한 반면에 M-ary 수가 증가할수록 잡음(AWGN)과 타 사용자에 의한 다중접속간섭(MAI)의 영향이 커져 비트에러율(BER)이 증가하고 채널용량이 급격히 줄어드는 문제점이 있다. 따라서, DS-CDMA/M-ary QAM 시스템에서 많은 사용자에게 고속의 데이터 서비스를 제공하기 위해서는 잡음을 줄이거나 MAI를 경감시킬 수 있는 성능 개선 기법이 요구된다. 본 논문에서는 성능 개선 기법으로서 다단병렬간섭제거기(MPIC : Multistage Parallel Interference Canceller)와 부분 다단병렬간섭제거기(partial MPIC)를 채용한 비동기 DS-CDMA/M-ary QAM 시스템의 성능 개선을 이론적으로 분석하고 이를 검증하기 위한 컴퓨터 시뮬레이션을 수행하였다. 결과에서, MPIC와 partial MPIC를 채용함으로써 4 QAM, 16 QAM 및 64 QAM을 사용한 DS-CDMA 시스템의 BER과 채널용량이 크게 개선됨을 확인하였다. MPIC를 채용한 경우는 AWGN 채널의 BER에 근접하였다. 또한, MPIC는 partial MPIC보다 BER 성능이 우수하였으며 더 많은 채널용량 개선을 달성하였다. 그러나, MPIC는 partial MPIC 보다 계산량이 훨씬 많고 복잡한 구조를 갖기 때문에 실제 시스템 구현에 있어서 성능과 복잡도 사이에 타협(tradeoff)이 필요하다.

  • PDF

GPGPU 기반의 개선된 CYK 알고리즘 (An Improved CYK Algorithm based on GPGPU)

  • 김경환;한요섭
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.409-410
    • /
    • 2012
  • 범용 계산에 GPU를 활용하는 GPGPU 연구가 활발히 이루어지고 있다. 기존 연구에서 사용된 병렬화 기법은 데이터 이동시 GPU의 유휴자원을 잘 활용하지 못한다. 우리는 스트림 기법을 이용하여 CPU-GPU간 데이터 이동과 GPU내 연산을 동시에 실행시켜 데이터 이동시 GPU의 유휴자원을 최대한 활용하여 성능을 향상한다. 제안된 방식은 기존의 병렬화 방법에 비해 약 1.1배 향상된 성능을 나타낸다.

BERT을 이용한 한국어 문장의 스타일 변화 (Controlled Korean Style Transfer using BERT)

  • 이주성;오연택;변현진;민경구
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.395-399
    • /
    • 2019
  • 생성 모델은 최근 단순히 기존 데이터를 증강 시키는 것이 아니라 원하는 속성을 가지도록 스타일을 변화시키는 연구가 활발히 진행되고 있다. 스타일 변화 연구에서 필요한 병렬 데이터 세트는 구축하는데 많은 비용이 들기 때문에 비병렬 데이터를 이용하는 연구가 주를 이루고 있다. 이러한 방법론으로 이미지 분야에서 대표적으로 cycleGAN[1]이 있으며 최근 자연어 처리 분야에서도 많은 연구가 진행되고 있다. 많은 논문들이 사용하는 데이터도메인은 긍정 문장과 부정 문장 사이를 변화시키는 것이다. 본 연구에서는 한국어 영화리뷰 데이터 세트인 NSMC[2]를 이용한 감성 변화를 하는 문장생성에 대한 연구로 자연어 처리에서 좋은 성능을 보여주는 BERT[8]를 생성모델에 이용하였다.

  • PDF

비 압축 블록으로 구성된 제어 헤더 삽입을 통한 압축 해제 호환성 있는 병렬 처리 Deflate 알고리즘 제안 (Proposal for Decoding-Compatible Parallel Deflate Algorithm by Inserting Control Header Composed of Non-Compressed Blocks)

  • 김정훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권5호
    • /
    • pp.207-216
    • /
    • 2023
  • 본 연구에서는 압축 해제 호환성을 갖춘 병렬 처리 Deflate 압축 알고리즘을 구현하기 위하여 병렬 압축 및 압축 해제에 필수적인 정보를 복수의 비 압축 블록(Non-Compression Block)내의 버려지는 영역(Disposed Bit Area)에 저장하는 방식으로 구성한 컨트롤 헤더를 삽입하는 새로운 방식을 제안하였다. 이를 통해 기존 압축 해제 프로그램과 완벽한 호환성을 유지하면서도 병렬 압축 및 병렬 압축 해제가 가능하도록 하였다. 또한 순차 처리방식 대비 압축 시간을 최대 71.2% 절감하였고 병렬 압축해제 시간을 65.7%까지 절감하였다. 특히 Deflate 알고리즘의 구조적 제약으로 인해 병렬 압축 해제는 불가능하다고 알려져 있으나, 제안하는 방식을 탑재한 디코더로 알고리즘 수준에서 고속의 병렬 압축 해제가 가능하고, 호환성을 유지하여 동일한 압축 데이터를 기존의 압축 해제 프로그램으로도 정상적 압축 해제가 가능함을 확인하였다.

컴퓨터 시뮬레이션을 이용한 직각좌표 및 나선주사 방식의 병렬 자기공명 영상에서 움직임 효과 연구 (Study of Motion Effects in Cartesian and Spiral Parallel MRI Using Computer Simulation)

  • 박수경;안창범;심동규;박호종
    • Investigative Magnetic Resonance Imaging
    • /
    • 제12권2호
    • /
    • pp.123-130
    • /
    • 2008
  • 목적 : 본 논문에서는 자기공명영상 데이터 획득 시 객체의 움직임이 병렬 자기공명영상에 미치는 영향에 대하여 연구하였다. 일반적으로 병렬 자기공명영상 방법의 경우 데이터 획득 시간이 일반 자기공명영상 방법보다 짧기 때문에 움직임에 강인하다고 알려져 있다. 그러나 생체내의 비자발적인 장기 운동 등과 같은 불가피한 움직임이 포함된 경우 병렬 영상의 움직임 아티펙트는 일반적인 영상에 비하여 더 심각할 수 있다. 따라서 본 논문에서는 실제 환경에서 나타날 수 있는 다양한 움직임 종류를 정의하고, 이러한 움직임이 발생하였을 때 병렬 자기공명영상에 나타나는 영향을 일반적인 영상방법과 비교하여 살펴보았다. 대상 및 방법 : 병렬 자기공명영상 데이터를 획득할 때 발생하는 움직임에 의한 영향을 확인하기 위하여 실제 환경에서 발생할 수 있는 5가지 움직임 종류를 정의하였다. 즉 움직임-1과 2는 서로 다른 크기와 주기를 갖는 주기적인 움직임이고, 움직임-3과 4는 일정 시간 (segment) 단위로 운동하는 선형적인 움직임이다. 마지막으로 움직임-5는 비 주기 랜덤 운동이다. 사용된 영상 방법은 직각 좌표 기반 영상과 나선 주사 (비 직각 좌표) 영상으로 각각에 대해 병렬 영상법과 일반적인 영상법을 적용하여 움직임 효과를 살펴 보았다. 결과 : 본 논문에서 정의한 움직임 종류에 대한 병렬 자기공명영상에서의 움직임 효과를 알아보았다. 움직임-3과 4와 같이 병렬 자기공명영상에 의하여 움직임이 감소하는 경우 움직임 아티팩트는 일반 자기공명영상에 비하여 줄어들었다. 그러나 움직임-1과 2와 같이 주기적으로 진동할 경우 병렬 영상의 왜곡이 일반 자기공명영상에 비하여 더 크게 나타났다. 움직임-5와 같이 랜덤 한 경우 일반 자기공명영상과 병렬 자기공명영상이 서로 유사하게 나타났다. 결론 : 본 논문에서는 자기공명영상 데이터 획득 시 객체의 움직임이 병렬 자기공명영상에 미치는 영향에 대하여 연구하였다. 그 결과 병렬 자기공명영상을 통해 움직임이 줄어드는 경우를 제외한 다른 움직임 종류에 대해서는 병렬 자기공명영상보다 일반 자기공명영상이 더 좋은 화질을 나타내었다.

  • PDF

이완 결합형 다중 프로세서 시스템을 사용한 데이터 플로우 컴퓨터 구조의 병렬 에뮬레이션에 관 한 연구 (A Parallel Emulation Scheme for Data-Flow Architecture on Loosely Coupled Multiprocessor Systems)

  • 이용두;채수환
    • 한국통신학회논문지
    • /
    • 제18권12호
    • /
    • pp.1902-1918
    • /
    • 1993
  • 노이만 계산 모델의 병렬처리 구조는 구조 속성상의 취약성으로 인해 대량 병렬처리 구조로서는 한계가 있다. 데이터 플로우 계상 모델은 소프트웨어적 고 프로그램성과 하드웨어적 높은 개발 가능성을 갖고 있다. 그러나 실제 데이터 플로우 구조에서는 프로그래밍과 실험을 행하고자 할때, 노이만 방식의 기계는 많지만 실제 데이터 플로우 컴퓨터가 없으므로 대단히 어렵다. 본 논문에서는 일반적 재래 병렬처리기계중 하나인 이완결합 다중프로세서 시스템위에서 데이터 플로우 방식의 계산을 수행시킬 수 있는 프로그래밍 환경을 제시하였다. 에뮬레이터는 iPSC/2 하이퍼 큐프를 이용하여 Tagged Token 데이터 플로우 구조를 구축하였다. 본 에뮬레이터는 iPSC/2시스템에서 소프트웨어적 박층 실험으로 프로그래머의 입장에서는 iPSC/2 시스템이 데이터 플로우 주고로서 농작하는 것으로 간주한다. 여러 가지 수치 혹은 비수치 알고리즘을 데이터 플로우 어셈블리어로 구현하여 재래식 C 언어에 의한 것과 프로그램의 성능을 비교하였다. 이로써, 재래식 병렬처리 기계상의 에뮬레이터를 통한 실험적 데이터 플로우 계산을 행할 때 이 프로그래밍 환경의 효율성에 대하여도 검정하였다.

  • PDF

2차원 토러스 기반 다중 디스크 데이터 배치 병렬 유전자 알고리즘 (A 2-Dimension Torus-based Genetic Algorithm for Multi-disk Data Allocation)

  • 안대영;이상화;송해상
    • 전자공학회논문지CI
    • /
    • 제41권2호
    • /
    • pp.9-22
    • /
    • 2004
  • 본 논문에서는 NP-Complete 부류에 속하는 다중 디스크 데이터 배치 문제를 해결하기 위한 병렬 유전자 알고리즘을 제안한다. 이 문제는 디스크 입출력 처리의 병렬성이 극대화되도록 Binary Cartesian Product File의 데이터 블록들을 디스크어레이에 배치하는 방식을 찾는 것이다. 이 문제를 해결하기 위하여 제안되었던 DAGA 방식은 순차 유전자 알고리즘(Genetic Algorithm)으로서, 이전에 제안되었던 다른 방식에 비해 디스크 수에 대한 제약을 없애면서도 우수한 결과를 제공함을 보여 주었으나 시뮬레이션 시간이 너무 커서 큰 용량의 데이터 구성에 대한 시뮬레이션을 어렵게 하는 문제점이 있었다. 본 논문에서는 DAGA의 시뮬레이션 시간 단축을 위한 방식으로서, 2차원 토러스(2-Dimension Torus) 기반 병렬 유전자 알고리즘(ParaDAGA)을 제안한다. ParaDAGA는 분산 객체 모형을 기반으로 설계되었으며, 단일 프로세서 시스템에서 구현된 병렬처리 컴퓨터 시뮬레이터에서 수행되도록 구현하였다. 시뮬레이션 연구를 통하여, ParaDAGA의 시뮬레이션 변수 값이 결과에 주는 영향을 분석하였고, ParaDAGA 방식이 DAGA 방식에 비해 우수한 결과를 제공할 수 있는지를 실험하였다. 실험 결과는 ParaDAGA 방식이 순차 알고리즘인 DAGA보다 알고리즘 수행 시간 뿐 아니라, 찾아낸 결과도 우수함을 보여준다.

다차원 데이터 처리를 위한 맵리듀스 기반의 그리드 파일 생성기법에 관한 연구 (A Study on The Grid File Construction Method based on MapReduce for Multidimensional Data Processing)

  • 정주혁;이상호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.77-80
    • /
    • 2014
  • 최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.