• 제목/요약/키워드: 분산 병렬 처리

검색결과 411건 처리시간 0.03초

저 전송률 비디오 코덱용 실시간 8$\times$8 이차원 DCT 처리기의 VLSI 구현 (A VLSI Implementation of Real-time 8$\times$8 2-D DCT Processor for the Subprimary Rate Video Codec)

  • 권용무;김형곤
    • 한국통신학회논문지
    • /
    • 제15권1호
    • /
    • pp.58-70
    • /
    • 1990
  • 본 논문에서는 저 전송률 비디오 코덱의 영상 데이터 압축을 위한 실시간 이차원 이상여현변환기 구현에 대해 기술한다. 제안된 구조는 벡터 내적 연산의 병렬 처리에 효율적인 분산연산을 이용하였으며 동시성을 최대로 활용하고 있어 CCITT에서 제안하는 완전 CSIF 30 프레임/초의 처리성능을 만족한다. 또한 제안된 구조를 비트 수준으로 모의시험을 수행하여 CCITT에서 제안하는 IDCT 정확도 사양을 만족함을 보였다. 실제로 효율적인 VLSI 실현을 위해 설계방법론을 연구하고 SUN3/150C를 중심으로 모듈발생기 지향적 설계환경을 구축하였다. 구축된 설계환경을 이용하여 제안된 구조의 핵심모듈을 이중 금속선 2m CMOS 기술로써 구현하였으며 설계된 이차원 DCT 칩의 크기는 약 3.9mmx4.8mm이다.

  • PDF

웹 서비스를 이용한 바이오 서열 정보 데이터베이스 및 통합 검색 시스템 개발 (Development of Integrated Retrieval System of the Biology Sequence Database Using Web Service)

  • 이수정;용환승
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.755-764
    • /
    • 2004
  • 최근, 바이오 관련 장비, 기술들이 발전함에 따라, 바이오 관린 데이터나 그것을 제공하는 호스트들이 급속하게 증가하고 있나. 또한, 이러한 데이터들은 개발 커뮤니티들의 수만큼, 분산되고 이질적인 면을 가시고 있어서, 바이오 관련 데이터베이스의 통합과 연동기능의 세공이 중요한 문제가 되고 있다. 그러나, 현재까지 진행되고 있는 많은 통합 연구 시스템의 대부분이 링크기반, 데이터웨어하우징 구축 기반으로 하고 있어서, 데이터 스키마나 데이터의 변경시, 실시간 업데이트와 같은 문제점을 보인다. 이러한 비효율적인 면을 개선시키고자, 플랫폼. 스키마의 변화에 구애 받지 않고 서비스를 가능하게 하는 웹 서비스 기술을 이용한 통합 시스템이 제안되고 있다. 본 논문에서도 이러한 흐름에 맞추어, 웹 서비스를 이용한 바이오 서열 데이터의 데이터베이스와, 통합 검색 시스템을 개발하였다 개발된 시스템은 BSML을 포함한 다양한 포맷의 데이터로 서열정보를 제공하며, 또한 외부 데이터베이스의 검색을 병렬로 처리하여, 검색 성능을 향상시키도록 하였다.

맵리듀스 잡을 사용한 해시 ID 매핑 테이블 기반 대량 RDF 데이터 변환 방법 (Conversion of Large RDF Data using Hash-based ID Mapping Tables with MapReduce Jobs)

  • 김인아;이규철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.236-239
    • /
    • 2021
  • AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

  • PDF

그리드 분할에 의한 다차원 데이터 디클러스터링 성능 분석 (Performance Analysis on Declustering High-Dimensional Data by GRID Partitioning)

  • 김학철;김태완;이기준
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1011-1020
    • /
    • 2004
  • 대규모의 데이터를 다루는 여러 시스템에서 데이터를 다수의 병렬 디스크에 분산시켜 저장한 후 질의 처리시 동시에 여러 개의 디스크를 접근함으로써 입출력 성능의 향상을 위한 많은 노력들이 행해져 왔다. 대부분 이전 연구들은 데이터 공간을 이루는 각 차원이 겹치지 않는 여러개의 구간으로 나누어져 전체 데이터 공간이 그리드 형태로 분할되어 있다는 가정하에 각 차원의 구간 번호로 결정되는 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 개발에 집중되었다. 하지만, 그들은 데이터 공간을 그리드 형태로 분할하는 방법이 전체 디클러스터링 알고리즘 성능에 미치는 영향을 간과하였다. 본 논문에서 우리는 효과적인 그리드 분할을 통하여 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 향상 시켰다. 이를 위하여 영역 질의 크기가 주어졌을 때 겹치는 그리드 셀의 수를 예측하는 모델을 제시하였으며 이를 이용하여 가능한 그리드 분할 방법들 중에서 질의 크기를 감소시키는 분할 방법을 선택하였다. 일반적으로, 다차원 데이터에 대해서는 이진 분할을 하지만 본 논문에서는 더 작은 수의 차원을 선택해서 여러 번 분할함으로써 질의를 만족하는 그리드 셀의 수를 감소시켰다. 다양한 실험 결과에 의하면 본 논문에서 제시한 예측 모델은 질의 크기와 차원에 관계없이 0.5% 이내의 에러율을 보이는 것으로 나타났다. 또한 효과적인 그리드 분할을 통하여 다차원 데이터에 대해서 가장 성능이 좋은 것으로 소개되고 있는 Kronecker sequence 매핑 함수를 이용하는 디클러스터링 알고리즘의 성능을 최대 23배까지 향상시킬 수 있음을 알 수 있었다.

데스크탑 그리드에서 자원 사용 경향성을 고려한 효율적인 스케줄링 기법 (An Efficient Scheduling Method Taking into Account Resource Usage Patterns on Desktop Grids)

  • 현주호;이승구;김상철;이민구
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.429-439
    • /
    • 2006
  • 데스크탑 그리드는 컴퓨팅 집약적인 분산 어플리케이션을 수행하는데 있어서 유망한 플랫폼으로 부각되고 있다. 그러나 비 신뢰적이고 예측할 수 없는 자원의 특성 때문에 데스크탑 그리드에서 병렬 어플리케이션의 효율적인 스케줄링은 어려운 문제로 알려져 있다. 이에 따라서 빈약한 스케줄링 능력과 함께 현재 데스크탑 그리드는 고 처리 어플리케이션(high throughput application)의 실행에는 적합하지만 빠른 반환 시간을 요구하는 어플리케이션의 실행을 지원하는데 있어서 어려움을 갖는다. 빠른 반환 시간을 요구하는 어플리케이션의 효율적인 실행은 어플리케이션의 전체 실행 시간(makespan)을 축소함으로써 해결할 수 있는 문제로써 데스크탑 그리드가 이를 지원할 수 있게 하는 것은 매력적인 제안이 될 것이다. 본 논문에서는 데스크탑 그리드에서 효율적인 어플리케이션의 실행을 지원하기 위한 새로운 스케줄링 방법을 제안한다. 7주간의 시간동안 40대의 데스크탑에서 추출된 추적(trace) 데이타의 분석을 통해서 데스크탑 사용 경향성과 비 신뢰적인 데스크탑의 영향이 스케줄링의 성능을 개선하는데 있어서 활용 될 수 있음을 확인하였고 이 요소들을 고려함으로써 데스크탑 그리드의 비 신뢰적이고 예측할 수 없는 자원의 특성을 스케줄링에 적절하게 반영 할 수 있는 스케줄링 기법이 제안되었다. 제안된 스케줄링 기법은 실제 데스크탑들의 행동 패턴을 반영한 추적 기반 시뮬레이션(trace-driven simulation)을 통해서 기존의 스케줄링 방법들과 스케줄링 성능이 비교되었고 시뮬레이션 결과를 통해서 제안된 스케줄링 기법이 기존의 데스크탑 스케줄링 기법들에 비해서 병렬 어플리케이션의 전체 실행 시간을 축소하고 중지(suspension)와 장애(failure)의 발생 빈도를 줄이는 것을 보여준다.

자연재난 데이터 실감 가시화 시스템 (Visualization System for Natural Disaster Data)

  • 김종용;정석철;이계원;조준영;김동욱;박상훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제24권3호
    • /
    • pp.21-31
    • /
    • 2018
  • 태풍, 해일, 홍수, 범람 등에 관련된 자연재난 데이터를 빠르고 효과적으로 가시화하여 재난 재해 상황에서 정확한 의사결정을 할 수 있도록 지원하는 시스템을 소개한다. 재난정보를 포함하는 데이터는 적게는 수백 MB에서 많게는 수십, 수백 GB로 구성되어 있으므로 개인이 지닌 컴퓨터로는 처리할 수 없다. 그렇기 때문에 본 시스템은 클라이언트-서버 기반의 시스템을 제공하여 고성능 서버에서 가시화 결과를 생성하고 클라이언트에서는 결과를 받아 출력하는 형태로 구현되었다. 서버는 클라이언트의 요청을 처리하고 내장된 고성능 클러스터로 렌더링된 결과를 클라이언트로 전송한다. 클라이언트는 원하는 기간을 지정하여 가시화된 결과를 이미지, 동영상, 3D 그래픽 모델 중 원하는 형태로 서버로부터 제공받아 표출할 수 있으며 사용자 친화적인 GUI와 효과적으로 가시화 결과를 볼 수 있는 다양한 기능을 사용자에게 제공한다.

퀀텀 에스프레소와 제온 파이 프로세서의 융합을 이용한 분산컴퓨팅 성능에 대한 연구 (A Study of Distribute Computing Performance Using a Convergence of Xeon-Phi Processor and Quantum ESPRESSO)

  • 박영수;박구락;김동현
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.15-21
    • /
    • 2016
  • 최근 프로세서의 집적도는 급속도로 발전하고 있으나 클락 스피드는 증가하지 않는 대신에 프로세서 내의 코어 수가 늘어나고 있는 실정으로 프로그래밍 속도 향상을 위한 방법에 대한 연구가 필수적이라 할 수 있다. 이에 본 논문에서는 현재 연산 가속화를 위해 사용되는 매니 코어 프로세서의 대표적인 인텔 제온 파이의 성능 분석을 위하여 퀀텀 에스프레소를 활용하였다. 또한 제온 파이에서 MPI 실행시 랭크의 수를 변화시키면서 성능 벤치마킹을 수행하여 하드웨어적인 성능 특성을 연구하였다. 그 결과 물리 코어가 57개인 제온파이 프로세서의 하나의 코어당 4개의 작업을 처리할 때 가장 좋은 성능을 나타내고 있으며, 물리 코어 하나에 MPI 랭크수를 4개 이상 확장하면 성능향상이 거의 일어나지 않는다. 이러한 융합 기술을 통하여 퀀텀 에스프레소의 성능 향상과 제온 파이의 하드웨어적인 특성을 확인할 수 있다.

RHadoop 기반 보건의료 빅데이터 분석의 성능 평가 (Performance Evaluation of Medical Big Data Analysis based on RHadoop)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제13권1호
    • /
    • pp.207-212
    • /
    • 2018
  • 빅데이터 시대에 각광받고 있는 데이터 분석 도구인 R은 강력한 통계 분석 기능과 데이터 가시화 기능을 제공함으로 인해 그 사용자를 급속히 넓혀 가고 있다. 오픈소스 기반으로서의 다양한 기능 확장성이 R의 강점인데 반해 규모 확장성이 미흡함으로 인해 대용량 데이터 처리에서의 성능 제약이 발생한다. 이를 보완하기 위한 확장 패키지 중 하나인 RHadoop은 R로 작성된 코드에 대해 하둡 플랫폼 기반 병렬 분산 처리를 지원하므로 데이터 분석 성능을 높일 수 있다. 본 논문에서는 인터넷을 통해 공개되는 실제 보건의료 빅데이터를 이용한 데이터 분석에서 RHadoop을 활용할 때 얻을 수 있는 성능 개선을 평가함으로써 RHadoop의 유효성을 검증한다. 본 연구를 통해 R과 RHadoop에서 국민건강보험 진료내역정보를 각각 분석한 결과 8개의 데이터 노드로 구성된 RHadoop 클러스터가 R과 비교하여 최대 8배 이상 성능을 개선시킬 수 있음을 입증하였다.

온톨로지 및 순서 규칙 기반 대용량 스트리밍 미디어 이벤트 인지 (Ontology and Sequential Rule Based Streaming Media Event Recognition)

  • 소치승;박현규;박영택
    • 정보과학회 논문지
    • /
    • 제43권4호
    • /
    • pp.470-479
    • /
    • 2016
  • UCC(User Created Contents) 형태의 다양한 영상 미디어 데이터가 증가함에 따라 의미 있는 서비스를 제공하기 위해 많은 분야에서 활발한 연구가 진행 중이다. 그 중 시맨틱 웹 기반의 미디어 분류에 대한 연구가 진행되고 있지만 기존의 미디어 온톨로지는 메타 정보를 이용하기 때문에 정보의 부재에 따른 한계점이 있다. 따라서 본 논문에서는 영상에서 인지되는 객체를 정하고 그 조합으로 구성된 서술 논리 기반의 온톨로지를 구축하고 영상의 장면에 따른 순서 기반의 규칙을 정의하여 이벤트 인지에 대한 기틀을 제안한다. 또한 증가하는 미디어 데이터에 대한 처리를 위해 분산 인-메모리 기반 프레임워크인 아파치 스파크 스트리밍을 이용하여, 영상 분류를 병렬로 처리하는 방법에 대해 설명한다. 유튜브에서 추출한 영상을 대상으로 대용량 미디어 온톨로지 데이터를 생성하고, 이를 이용하여 제시된 기법에 대한 성능 평가를 진행하여 타당성을 입증한다.

자원 가용성 기반 다중 경매 모델을 이용한 서비스 예약형 클라우드 자원 거래 시스템 (Resource Availability-based Multi Auction Model for Cloud Service Reservation and Resource Brokering System)

  • 이석우;김태영;이종식
    • 한국시뮬레이션학회논문지
    • /
    • 제23권1호
    • /
    • pp.1-10
    • /
    • 2014
  • 클라우드 컴퓨팅은 분산 병렬 컴퓨팅의 일종으로 IT 자원을 가상화 하고 이를 사용자에게 제공한다. 그러나 사용자의 서비스 요청은 시간적 규칙성이 없으며, 이런 이유로 각 자원들은 가용성의 차이를 갖는다. 가용성의 차이는 클라우드 서비스 이용자의 QoS만족도 및 서비스 제공자 선택에 영향을 주게 된다. 본 논문에서는 클라우드 환경에서의 서비스 이용자의 요구에 따라 가상화된 IT자원 제공자의 효율적 선정을 위한 자원 가용성 기반 다중 경매 모델을 이용한 서비스 예약형 클라우드 자원거래 시스템을 제안한다. 제안한 시스템에서는 서비스 이용자의 서비스 요청 발생 시 두 번의 경매 모델을 사용하는 다중경매모델이며, 다중 경매 과정 중 단일 경매 단계에서 자원 가용성 평가 알고리즘 및 가변 큐를 이용한 서비스 예약방식을 적용하여 서비스 제공자의 자원 가용성을 평가하여 최적의 서비스 제공 자원을 찾는다. 제안모델은 QoS만족도 부분에서 앞서 작용한 자원 가용성 평가 알고리즘으로 인해 높은 성능을 보여주며, 작업 처리 시간활용도 면에서 QoS를 모두 고려한 상태로 안정적으로 더 많은 작업을 처리 할 수 있음을 입증하였다.