• 제목/요약/키워드: 병렬파일 시스템

검색결과 115건 처리시간 0.029초

분산 하둡 시스템의 성능 비교 분석 (Performance Analysis of Distributed Hadoop Systems)

  • 배병진;김영주;김영국
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.479-482
    • /
    • 2014
  • 오늘날 급증하는 빅데이터를 효율적으로 관리하기 위해 오픈소스인 하둡을 많이 사용한다. 하둡은 분산 파일 처리 시스템인 HDFS(Hadoop Distributed File System)와 분산 병렬 처리 시스템인 맵리듀스(MapReduce)로 구성되어 있다. 하둡의 맵리듀스 프레임워크에서는 빅데이터를 HDFS에서 읽어들이고 분석 처리된 결과를 다시 HDFS에 쓴다. 이러한 분산 병렬 처리 방식은 하둡 버전에 따라 다른 시스템 구조를 가진다. 따라서 본 논문에서는 하둡 버전에 따른 빅데이터 처리 시에 동작하는 하둡시스템들의 내부 성능을 비교 분석한다. 이를 위해서 하둡 시스템을 감시할 수 있는 방법을 고안하여 내부적으로 생성되는 프로세스 및 스레드들과 변수들의 발생빈도를 측정하여 분석 지표로 사용한다.

  • PDF

인쇄 악보의 인식과 병렬 알고리즘에 관한 연구 (A Study of Printed Score Recognition and its Parallel Algorithm)

  • 황영길;김성천
    • 한국통신학회논문지
    • /
    • 제19권5호
    • /
    • pp.959-970
    • /
    • 1994
  • 본 논문에서는 핸디 스캐너를 사용하여 인쇄 악보를 읽어들여서 이를 최종적으로 매쉬 컴퓨터에서 병렬 수행 하도록 한다. 일차적으로 특정 패턴에 따란 분류하고, 지식을 기반으로하여 인식하게 된다. 본 논문에서 제안하는 알고리즘은 전처리 과정을 최소화하고 단순한 연산을 사용한다. 인쇄 악보의 악상 기호 크기는 여러 가지가 허용되도록하며 악상 기호의 종류의 다양성 때문에 모든 기호를 인식하는 것은 어려운 일이므로 우선 사용 빈도수가 높은 몇가지 기호를 인식하도록 한다. 인식된 결과는 미디 표준파일 형식으로 변환하도록 한다. 영상 처리의 고속성이 요구되므로 다중프로세서를 갖는 병렬처리 시스템이 필요하다. 이차원적인 디지털화된 영상은 SIMD 메쉬 컴퓨터 구조에서 처리되기에 적합하므로 이 구조에 대해서 설명하고 n의 프로세서를 갖는 SIMD 메쉬 컴퓨터 구조상에서의 시간복잡도가 0(n)인 병렬 알고리즘을 기술한다.

  • PDF

통합 로그 저장소를 이용한 슈퍼컴퓨터 상태 분석 도구 설계 (Design of tool for supercomputer status analysis using log integrated repository)

  • 김성준;이재국;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.427-428
    • /
    • 2017
  • 슈퍼컴퓨터와 같은 대규모 클러스터는 계산노드, 파일시스템, 인터컨넥트 네트워크 등과 같은 다양한 요소로 구성된다. 연구자들은 자신의 작업을 계산노드들을 이용하여 병렬화된 계산 작업을 수행한다. 수천 노드로 구성된 슈퍼컴퓨터에서 연구자들의 계산 작업이 효율적으로 수행되는 지를 파악하는 것은 시스템 관리자들에게 어려운 문제이다. 본 논문에서는 슈퍼컴퓨터어세 생성되는 다양한 로그를 통합 저장하고 이를 기반으로 슈퍼컴퓨터의 활용 효율을 제고하기 위한 통합 로그 저장소를 설계하고, 향후 구현될 슈퍼컴퓨터 상태 분석 시스템으서 활용할 수 있는 몇 가지 시나리오를 통해서 본 논문에서 제안하는 통합 로그 저장소의 효용성을 설명한다.

맵리듀스의 데이터 로컬리티 향상을 위한 데이터 복제기법 (Data Replication Technique for Improving Data Locality of MapReduce)

  • 이정하;유헌창;이은영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.218-220
    • /
    • 2012
  • 인터넷 활용과 웹 어플리케이션의 개발이 증가함에 따라 처리해야하는 데이터의 양도 또한 증가하고 있다. 대량의 데이터를 효과적으로 처리하기 위한 방법 중 하나로 병렬처리 프로그래밍 모델인 맵리듀스가 있다. 하둡은 맵리듀스의 오픈소스 구현으로 대량의 데이터를 병렬로 처리하는 무료 자바 소프트웨어 프레임워크이다. 분산 파일 시스템을 사용하는 하둡에서는 처리하는 데이터가 다른 노드에 위치하는 데이터 로컬리티 문제가 전체 작업 수행시간의 증가를 야기하는 문제가 있다. 본 논문에서는 하둡에서의 데이터 로컬리티 문제를 해결하기 위한 데이터 복제기법을 제안한다. 제안하는 데이터 복제기법에서는 1) 라그랑지 보간법을 사용하여 과거 접근수를 이용한 미래 접근수를 예측하고, 2) 예측된 값을 Threshold값으로 설정하고, 3) 데이터 로컬리티 문제가 발생하였을 때, 복제사본을 생성할 것인지 캐시를 생성할 것인지를 결정하여 복제 사본의 수를 최적화 한다. 실험을 통해 단순히 복제사본 수를 증가시킴으로써 데이터 로컬리티를 향상을 이루어도 작업 완료시간이 감소하는 것이 아니라는 결과를 볼 수 있었고, 오버 런치로 인한 작업 완료시간 증가를 줄이기 위해 데이터 복제사본 수 최적화의 필요성을 확인할 수 있었다.

GPU를 활용한 분산 컴퓨팅 프레임워크 성능 개선 연구 (A Study on Performance Improvement of Distributed Computing Framework using GPU)

  • 송주영;공용준;심탁길;신의섭;성기진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.499-502
    • /
    • 2012
  • 빅 데이터 분석의 시대가 도래하면서 대용량 데이터의 특성과 계산 집약적 연산의 특성을 동시에 가지는 문제 해결에 대한 요구가 늘어나고 있다. 대용량 데이터 처리의 경우 각종 분산 파일 시스템과 분산/병렬 컴퓨팅 기술들이 이미 많이 사용되고 있으며, 계산 집약적 연산 처리의 경우에도 GPGPU 활용 기술의 발달로 보편화되는 추세에 있다. 하지만 대용량 데이터와 계산 집약적 연산 이 두 가지 특성을 모두 가지는 문제를 처리하기 위해서는 많은 제약 사항들을 해결해야 하는데, 본 논문에서는 이에 대한 대안으로 분산 컴퓨팅 프레임워크인 Hadoop MapReduce와 Nvidia의 GPU 병렬 컴퓨팅 아키텍처인 CUDA 흘 연동하는 방안을 제시하고, 이를 밀집행렬(dense matrix) 연산에 적용했을 때 얻을 수 있는 성능 개선 효과에 대해 소개하고자 한다.

분산 환경에서 클러스터 노드 할당 시스템을 위한 유전자 기반 최적화 모델 (A Genetic-Based Optimization Model for Clustered Node Allocation System in a Distributed Environment)

  • 박경모
    • 정보처리학회논문지A
    • /
    • 제10A권1호
    • /
    • pp.15-24
    • /
    • 2003
  • 본 논문에서는 분산 컴퓨팅 환경에서 클러스터 노드 할당 시스템에 대한 최적화 모델을 제시한다. 분산 파일 시스템 구조를 지닌 제시 모델에서는 시간에 따른 시스템의 역동적인 움직임을 면밀하게 고려하여 클러스터 노드 할당 세트가 타당한지를 조사하는 클러스터 모니터 노드의 기능이 주어진다. 노드 할당 시스템의 클러스터 모니터 노드는 병렬 모듈들을 클러스터 노드들에 분산시키면서 유전 알고리즘을 이용하여 좋은 할당 솔루션을 제공한다. 실험적 연구의 일환으로 코딩 기법, 교배, 돌연변이, 개체집단 크기 같은 다양한 유전 인자 파라미터와 노드 모듈개수에 따른 솔루션 품질 및 계산 시간에 관한 비교 실험 결과를 발표한다.

DS/CDMA 시스템에서 하이브리드 동기 획득의 성능 분석 (Performance evaluation of hybrid acquisition in CDMA systems)

  • 강법주;강창언
    • 한국통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.914-925
    • /
    • 1998
  • 본 논문은 코드분할다중접속 순방향 링크에서 파일롯 선호가 존재하는 경우 하이브리드 동기 획득에 대한 성능을 평가한다. 하이브리드 동기 획득 방식은 병렬 및 직렬 동기 획득 방식의 결합된 형태이다. 제안된 동기 획득 방식의 성능 평가는 평균 동기 획득 시간에 의해 이루어지는데 평균 동기 획득 시간은 두 가지 유형(유형 1, 2)을 고려하여 유도하였다. 여기서 유형l은 정확한 코드 위상 오프셋들이 하나의 부분 탐색 구간에 모두 포함되어 있는 경우이고 유형 2는 정확한 코드 위상 오프셋틀이 두개의 부분 탐색 구간에 분포되어 있는 경우이다. 또한 신호 검출, 오경보, 그리고 miss 확률들은 다경로 페이딩과 다수의 정확한 코드 위상 오프셋이 존재하는 상황을 고려하여 유도하였다. 수치해석 결과는 탐색 및 확인 모드에서의 후치 검출 적분 길이, 부분 탐색 구간 크기, 그리고 동기 획득 시간에 따른 I/Q 넌코히런트 상관기의 수 등의 시스템 설계 파라미터에 대한 하이브리드 동기 획득 성능을 분석하고, 하이브리드 및 병렬 동기 획득에 동일한 하드웨어를 적용했을 경우에 대하여 동기 획득 시간의 관점에 서 두 가지의 동기 획득 시스템의 성능을 비교하였다.

  • PDF

내장형 스트리밍 어플리케이션을 위한 매개변수 데이터플로우 모델 기반의 C++ 확장 (A C++ Extension based on a Parameterized Dataflow Model for Embedded Streaming Applications)

  • 최윤서
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권4호
    • /
    • pp.231-243
    • /
    • 2009
  • 내장형 신호처리 시스템의 상당 수는 스트리밍(streaming) 어플리케이션의 특성을 지니고 있다. 데이터플로우(dataflow) 계산모델을 이용하면 스트리밍 프로그래밍 패러다임을 손쉽게 표현할 수 있다. 데이터플로우 계산모델에서는 프로그램의 병렬성이 드러나므로 멀티코어를 위한 병렬 프로그램으로의 컴파일 과정 또한 용이해진다. 우리는 내장형 신호처리 시스템의 스트리밍 특성을 데이터플로우 계산모델에 기반하여 표현하기 위한 언어 확장으로서 SPEX(Signal Processing Extension)을 제안하고자 한다. SPEX는 기존의 명령형언어(imperative language)상에 스트리밍 프로그램밍 패러다임을 표현할 수 있게 한다. SPEX 언어 확장은 매개변수 데이터플로우 계산모델(parameterized dataflow)에 기반하고 있으며, 이를 위해 몇몇의 키워드를 기존의 C++ 언어 더하는 방식으로 이루어져 있다. 본 논문에서는 하나의 필터내에서의 스트리밍 계산 특성 및 필터 간의 스트리밍 데이터 전달을 표현하는 SPEX의 기능에 초점을 맞추고자 한다.

스위치 제어를 통한 자동차용 복합형 에너지 저장 장치의 효율 개선에 관한 연구 (A Study on the Efficiency Improvement through the Switch Control of a Compound Energy Storage System for Vehicles)

  • 김병훈;이백행;정진범;신동현;송현식;김희준
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2008년도 제39회 하계학술대회
    • /
    • pp.996-997
    • /
    • 2008
  • 본 논문에서는 마일드 하이브리드 자동차에 적용 가능한 복합형 에너지 저장 장치의 운용 효율 및 수명 개선이 가능한 스위치 제어 알고리즘을 제안하였다. 제안한 제어 알고리즘은 복합형 에너지 저장 장치를 구성하는 축전지와 울트라커패시터의 전압, 전류, 전력 및 SOC의 변화에 따라 스위치를 적절히 제어함으로써, 시스템 전체의 운용 효율을 개선하고, 또한 축전지에 대전류 충/방전 상황 발생을 제한시켜 축전지의 수명저하 현상을 둔화시킨다. 본 논문에서는 마일드 하이브리드 자동차의 운행 조건을 모사한 사이클 프로파일과 차량 시뮬레이터 장비를 활용하여, 단순병렬 구성의 에너지 저장장치와 스위치 제어 알고리즘이 적용된 에너지 저장장치의 운용효율을 비교함으로써 제안한 알고리즘의 유용성을 확인하였다.

  • PDF

Stabs에서 DIL로의 번역기의 구현 (An Implementation of Stabs to DIL Translator)

  • 김성엽;장종현;김선재;김승호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.688-690
    • /
    • 2001
  • 교환기 소프트웨어와 같은 통신 시스템은 분산 병렬적인 수행 특성을 가지며, CHILL의 디버깅 환경인 TECH는 이러한 특성을 반영하고 있다. 최근의 교환기 소프트웨어 개발에 C 언어가 많이 사용되고 있는데, C 디버깅 환경은 이러한 특성을 잘 반영하지 못한다. 따라서, C 언어로 작성된 프로그램을 TECH에서 디버깅할 수 있다면 새로운 환경을 구축하지 않고도 기존의 환경을 이용함으로써 비용과 시간을 줄일 수 있다. 그러나, 두 환경의 디버깅 정보인 Stabs와 DIL은 표현 방식이 다르므로 이들간의 번역을 위한 도구가 필요하다. 본 논문에서는 이를 위해 Stabs 정보와 실행 파일을 분석하는 분석기, 분석된 정보를 각각에 해당하는 DIL에 대응시키는 대응기, 대응된 DIL 정보를 생성하는 생성기로 구성된 Stabs에서 DIL로의 번역기를 구현하였다.

  • PDF