• 제목/요약/키워드: 비병렬 데이터

검색결과 305건 처리시간 0.026초

분산 스트림 컴퓨팅 기술 동향 (Technology of Distributed Stream Computing)

  • 이미영
    • 전자통신동향분석
    • /
    • 제26권1호
    • /
    • pp.80-88
    • /
    • 2011
  • 데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

  • PDF

클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법 (A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization)

  • 김태훈;김정한;엄영익
    • 한국통신학회논문지
    • /
    • 제37권8C호
    • /
    • pp.670-679
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 환경의 보급과 함께 스토리지의 데이터양이 급증함에 따라 그에 따른 스토리지 저장 비용이 빠르게 증가하고 있다. 더불어, 사용자들의 다양한 서비스 및 데이터 요청으로 클라우드 스토리지의 부하 또한 급증하고 있다. 이러한 문제를 해결하기 위해 분산 파일 시스템을 통한 저비용 고성능 스토리지 환경을 제공하고자 하는 기존의 연구가 있었으나, 이에는 데이터 병렬처리, 임의위치 접근처리, 빈번한 작은 워크로드 접근처리 등의 취약점이 존재한다. 최근에는 캐싱 기술을 이용하여 이를 개선하려는 연구가 주목받고 있다. 본 논문에서는 분산 파일 시스템 환경에서 병렬 캐싱, 분산 캐싱과 공유 자원을 고려한 데이터 병렬 전송방법을 제공하는 CHPC(Cloud storage High-Performance Caching) 구조를 제안하며, 또한 이를 기존의 방법들과 비교 평가하여 스토리지 부하를 최적화하는 방법을 제시한다. 더불어, 제안 기법이 기존 클라우드 시스템에 비하여 스토리지 서버의 디스크 입출력 감소, 서버로 데이터의 요청이 집중되어 발생하는 병목현상 방지, 각 클라이언트의 중복되는 페이지 캐시 제거, 데이터 전송률 향상의 장점을 가짐을 보인다.

병렬 조인에서 샘플링 기반 비용 예측 기법을 이용한 균등 부하 분산 (Uniform Load Distribution Using Sampling-Based Cost Estimation in Parallel Join)

  • 박웅규
    • 한국정보처리학회논문지
    • /
    • 제6권6호
    • /
    • pp.1468-1480
    • /
    • 1999
  • 데이터베이스 시스템에서 조인 연산은 시스템의 성능에 영향을 주는 가장 복잡하고 소모적인 연산이다. 데이터베이스 시스템의 향상을 위한 많은 병렬 처리 알고리즘들이 제안되었으나 기존의 방법들은 AVS(Attribute Value Skew)와 JPS(Join Product Skew) 등과 같은 데이터 편지를 고려하고 있지 않다. 따라서 데이터 편재의 상황에서 기존의 방법들은 조인 연산 중에 노드들 간의 부하 불균형으로 인하여 그 성능이 급격하게 저하된다. 본 논문에서는 병렬 조인 시에 AVS와 JPS를 고려하여 노드간에 균등하게 부하를 분산하는 방법과 이를 이용한 효율적인 병렬 조인 알고리즘을 제안한다. 제안된 알고리즘은 먼저 기존의 샘플링 방법을 이용하여 조인 연산의 입력과 결과 릴레이션의 데이터 분포를 예측하고, 이를 기반으로 데이터 값에 대한 조인 비용을 산출한다. 그리고 히스토그램 균등화 기법을 이용하여 국부적인 조인 과정에서 노드들 간에 부하 균등을 성취할 수 있도록 데이터를 각 노드에 재 분재한다. 본 논문에서는 성능 평가를 위하여 제안된 알고리즘과 기존의 대표적인 알고리즘들을 위한 모의 실험 모델을 제시하고 모의 실험 결과를 기술한다. 성능 측정 결과 제안된 알고리즘이 기존의 알고리즘들에 비해서 데이터 편재의 상황에서 성능이 우수한 것으로 나타났다.

  • PDF

비공유 공간 데이터베이스 클러스터에서 효율적인 병렬 공간 조인 기법 (Efficient Parallel Spatial Join Method In Shared-Nothing Spatial Database Cluster)

  • 김종현;김명근;김재홍;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1871-1874
    • /
    • 2002
  • 최근 인터넷 환경에서 지리 정보 서비스를 제공받으려는 사용자들의 지속적인 증가로 인해 저비용의 여러 개의 단일 노드를 고속의 네트워크로 연결하여 고성능을 제공하는 클러스터 기반의 공간 데이터베이스에 대한 연구가 활발하게 진행되고 있다. 이러한 공간 데이터베이스 클러스터에서 사용자가 요구한 공간 질의를 빠르게 처리하기 위해서는 고비용의 공간 조인 연산을 효율적으로 처리하기 위한 기법이 요구된다. 본 논문에서는 비공유 공간 데이터베이스 클러스터 환경하에서 공간 조인 연산 수행 시 효율적인 병렬 처리를 위한 영역 분할 기법 및 병렬 공간 조인 기법을 제안한다. 기존의 병렬 공간 데이터베이스 시스템에서의 분할 기반 병렬 공간 조인 기법들은 병렬로 수행할 작업 분배 및 할당과 분할 경계선 상에 존재하는 공간 객체들에 대한 중복 조인 연산 및 중복 결과 제거 등의 추가적인 연산을 해야 한다는 문제점들이 있다. 제안된 기법은 공간 릴레이션들을 일정 영역들로 분할하여 비공유 공간 데이터베이스 클러스터의 각 노드에서 중복없이 저장, 관리하도록 하며 분할 영역의 경계선 상에 위치하는 공간 데이터에 대해서만 중복 저장을 허용하여 병렬 공간 조인 연산 시 누락되는 공간 데이터가 없도록 한다. 본 기법은 공간 조인 연산 시 병렬 처리를 위한 별도의 작업 할당 과정을 거치지 않고 각 노드에서 병렬적으로 공간 조인 연산을 수행하며, 분할 경계선 상에 존재하는 공간 객체들은 여과 과정을 거쳐 한번만 공간 조인이 수행되므로 중복 결과들을 제거하기 위한 별도의 연산이 필요없는 특징을 갖는다. Ad Hoc망의 위상변화에 대한 적응성을 높일 수 있도록 한다. SQL Server 2000 그리고 LSF를 이용하였다. 그리고 구현 환경과 구성요소에 대한 수행 화면을 보였다.ool)을 사용하더라도 단순 다중 쓰레드 모델보다 더 많은 수의 클라이언트를 수용할 수 있는 장점이 있다. 이러한 결과를 바탕으로 본 연구팀에서 수행중인 MoIM-Messge서버의 네트워크 모듈로 다중 쓰레드 소켓폴링 모델을 적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이

  • PDF

GPU 병렬처리와 비동기 트리플 버퍼를 적용한 실시간 FD-OCT 시스템 구현 (Implementation of real-time FD-OCT system based on asynchronous triple buffering and parallel processing using GPU)

  • 전준영;김영봉
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.858-860
    • /
    • 2014
  • 최근 영상처리 기법과 하드웨어의 발달로 의학 분야에서는 질병의 진단에 다양한 영상 시스템을 활용하고 있다. 특히 OCT 기술은 인체조직의 고해상도 이미지 획득과 혈류속도 측정을 동시에 할 수 있어 의료분야에 다양하게 적용이 가능하여 많은 관심을 받고 있다. 이에 더욱더 선명한 OCT 영상을 획득하기 위해 다양한 알고리즘과 필터를 사용함에 따라 빠른 프로세스 처리가 요구되고 있는 실정이다. 본 논문에서는 듀얼 코어 이상급의 CPU 를 탑재한 시스템에서 데이터 처리 모듈과 렌더링 모듈을 트리플 버퍼를 통해 비동기식으로 멀티스레드화 하였고, GPU 기반의 병렬처리를 통한 데이터 처리를 하여 속도를 향상시켰다. 이에 광학 카메라 촬영 시 선명한 실시간 OCT 영상을 확인할 수 있었다.

1차원 배열의 다중첨자를 갖는 루프의 병렬화를 위한 동기화 기법 (A Synchronization Method for Parallelizing Nested Do Loop with one dimensional variable)

  • 박현호;윤성대
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 춘계학술발표논문집
    • /
    • pp.16-19
    • /
    • 2001
  • 일반적인 응용 프로그램에서 루프는 대부분의 수행시간을 차지하기 때문에 병렬성 추출의 핵심 부분이라 할 수 있다. 병렬성이 많은 구조는 루프 구조이며, 루프를 병렬로 처리하기 위해 각 반복간에 존재하는 데이터의 종속은 프로세서간의 동기화가 필요하다. 본 논문에서는 다중첨자를 갖는 1차원 배열의 루프의 병렬화를 위해 다수 개의 동일한 종속값을 이용하여 종속함수를 생성하고 이를 이용하여 종속관계가 성립하지 않는 비종속 구간(Non-dependence part)을 구한다. 그리고 동일한 값을 가지는 복수개의 종속값 간의 동기화는 외부루프 분할 기법을 이용하여 적은 횟수의 청자가 외부에 위치하도록 하여 간소화한 후 단일 첨자를 갖는 루프에 동기화를 수행하는 기법을 제시한다.

  • PDF

양보다 질? : 병렬 말뭉치의 양과 질이 인공신경망 기계번역에 미치는 효과 (Quality, not Quantity? : Effect of parallel corpus quantity and quality on Neural Machine Translation)

  • 박찬준;이연수;이찬희;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.363-368
    • /
    • 2020
  • 글로벌 시대를 맞이하여 언어의 장벽을 해소하기 위하여 기계번역 연구들이 전 세계적으로 이루어지고 있다. 딥러닝의 등장으로 기존 규칙 및 통계기반 방법론에 비하여 눈에 띄는 성능향상을 이루어내고 있으며 많은 연구들이 이루어지고 있다. 인공신경망 기반 기계번역 모델을 만들 때 가장 중요한 요소는 병렬 말뭉치의 양과 질이다. 본 논문은 한-영 대용량의 말뭉치를 수집하고 병렬 말뭉치 필터링 기법을 적용하여 데이터의 양과 질을 충족시켰으며 한-영 기계번역 관련 객관적인 테스트셋인 Iwslt 16, Iwslt 17을 기준으로 기존 한-영 기계번역 관련 연구 중 가장 좋은 성능을 보였다.

  • PDF

공간적 부분시뮬레이션 전략이 적용된 예측기반 병렬 게이트수준 타이밍 시뮬레이션 (Prediction-Based Parallel Gate-Level Timing Simulation Using Spatially Partial Simulation Strategy)

  • 한재훈;양세양
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권3호
    • /
    • pp.57-64
    • /
    • 2019
  • 본 논문에서는 이벤트구동 게이트수준 타이밍 시뮬레이션의 성능 향상 및 디버깅 효율성 크게 높일 수 있는 공간적 부분시뮬레이션 전략이 적용된 효율적인 예측기반 병렬 시뮬레이션 기법을 제안한다. 제안된 기법은 병렬 이벤트구동 로컬시뮬레이션들의 입력값과 출력값에 대한 빠르면서도 정확한 예측을 달성하기 위해서, 공간적 부분시뮬레이션 전략을 추상화 상위수준 시뮬레이션에 적용하여 정확한 예측 데이터를 빠르고 즉각적으로 생성해낸다. 공간적 부분시뮬레이션 전략이 적용된 예측기반 병렬 게이트수준 타이밍 시뮬레이션은 성능 평가를 위하여 사용된 6개의 벤치마크 설계들에 대하여 제일 일반적인 순차 이벤트구동 게이트수준 타이밍 시뮬레이션에 비하여 평균 약 3.7배, 상용화된 멀티코어 기반의 병렬 이벤트구동 게이트수준 타이밍 시뮬레이션에 비해서는 평균 9.7배, 그리고 기존의 가장 우수한 예측기반 병렬 이벤트구동 게이트 수준 타이밍 시뮬레이션 결과에 비해서도 평균 2.7배의 시뮬레이션 성능이 향상됨을 확인할 수 있었다.

코딩 유닛 깊이 정보를 이용한 HEVC 디블록킹 필터의 병렬화 기법 (Parallel Method for HEVC Deblocking Filter based on Coding Unit Depth Information)

  • 조현호;유은경;남정학;심동규;김두현;송준호
    • 방송공학회논문지
    • /
    • 제17권5호
    • /
    • pp.742-755
    • /
    • 2012
  • 본 논문에서는 high efficiency video coding (HEVC) 복호화기의 디블록킹 필터를 병렬화할 때 발생하는 작업량 불균형 문제를 해결하는 병렬화 방법을 제안한다. HEVC의 디블록킹 필터는 인-루프 필터로써 먼저 수직 에지에서 필터링을 수행한 후, 수평 에지에서 필터링을 수행한다. 수직 및 수평 에지에 대해 필터링을 수행하는 경우 주변 에지와 의존성이 없기 때문에 데이터 레벨의 병렬화를 통하여 복호화를 고속화 할 수 있다. 그러나 데이터 레벨 병렬화 방법을 통해 데이터가 균등하게 분할된 경우에도 영역 간의 작업량은 불균등 할 수 있으며, 이는 복호화기의 병렬화 성능을 저하시킨다. 본 논문에서는 coding tree block (CTB)에서 coding unit (CU)의 깊이 정보를 사용하여, 현재 프레임에 대한 디블록킹 필터링 과정의 연산량을 예측하고, 이를 통해 각 코어에 동등한 작업량이 분배되게 함으로써 작업량 불균형 문제를 해결하였다. 실험 결과, 제안하는 작업량 예측 기반의 데이터 레벨 병렬화 방법은 단일 코어를 사용하여 디블록킹 필터를 수행하는 것에 비하여 64.3%의 평균 시간 감소 (average time saving; ATS)를 얻었고, 기존의 균등 분할 데이터 레벨 병렬화 방법보다 평균 6.7%, 최대 13.5% 감소를 얻었다.

예측정확도 향상 전략을 통한 예측기반 병렬 게이트수준 타이밍 시뮬레이션의 성능 개선 (Performance Improvement of Prediction-Based Parallel Gate-Level Timing Simulation Using Prediction Accuracy Enhancement Strategy)

  • 양세양
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권12호
    • /
    • pp.439-446
    • /
    • 2016
  • 본 논문에서는 예측기반 병렬 이벤트구동 게이트수준 타이밍 시뮬레이션의 성능 개선을 위한 효율적인 예측정확도 향상 전략을 제안한다. 제안된 기법은 병렬 이벤트구동 로컬시뮬레이션들의 입력값과 출력값에 대한 예측을 이중으로 예측할 뿐만 아니라, 특별한 상황에서는 동적으로 예측할 수 있게 한다. 이중 예측은 첫번째 예측이 틀린 경우에 두번째 정적 예측 데이터로써 새로운 예측을 시도하게 되며, 동적 예측은 실제의 병렬 시뮬레이션 실행 과정 도중에 동적으로 축적되어진 지금까지의 시뮬레이션 결과를 예측 데이터로 활용하는 것이다. 제안된 두가지의 예측정확도 향상 기법은 병렬 시뮬레이션의 성능 향상의 제약 요소인 동기 오버헤드 및 통신 오버헤드를 크게 감소시킨다. 이 두가지 중요한 예측정확도 향상 방법을 통하여 6개의 디자인들에 대한 예측기반 병렬 이벤트구동 게이트수준 타이밍 시뮬레이션이 기존 통상적 방식의 상용 병렬 멀티-코어 시뮬레이션에 비하여 약 5배의 시뮬레이션 성능이 향상됨을 확인할 수 있었다.