• 제목/요약/키워드: 러스터

검색결과 6건 처리시간 0.02초

Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구 (A Study on the Design of Ambari Service for Lustre Parallel File System Auto Provisioning)

  • 곽재혁;김상완;변은규;남덕윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.45-47
    • /
    • 2017
  • 하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석 (Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem)

  • 곽재혁;김상완;허태상;황순욱
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.561-566
    • /
    • 2015
  • 하둡은 오픈소스 기반의 분산 데이터 처리 프레임워크로서 과학 및 상용 분야에서 널리 사용되고 있는데 최근에 대규모 데이터의 실시간 처리 및 분석을 위해 고성능 컴퓨팅(HPC) 기술을 활용하여 하둡을 고성능화하기 위한 연구가 시도되고 있다. 본 논문에서는 하둡의 기본 파일시스템 구현인 하둡 분산파일시스템(HDFS)을 고성능 병렬 분산파일시스템인 러스터 파일시스템으로 대체하여 사용할 수 있도록 하둡 파일시스템 라이브러리를 확장하여 구현하였고 하둡이 제공하는 표준 벤치마크 도구를 사용하여 성능을 분석하였다. 실험 결과 러스터 파일시스템 기반으로 하둡 맵리듀스 응용을 수행하는 경우에 2-13배의 성능 향상이 있음을 확인할 수 있었다.

CeO2 함유 러스터 유약 제조 및 결정화 특성 (Preparation and Crystallization Behavior of Luster Glaze Containing CeO2)

  • 김성균;이성민;유중환;김형태
    • 한국세라믹학회지
    • /
    • 제40권12호
    • /
    • pp.1224-1228
    • /
    • 2003
  • 장석, 규석, 석회석 등의 천연원료와 CeO$_2$를 출발원료로 하여 프릿 형태의 러스터 유약을 제조하고 결정화 특성과 러스터 효과의 발현기구를 분석하였다. 시유한 시편이 110$0^{\circ}C$에서 소성되었을 때, 유면과 수평한 방향으로 (100)면이 배향된 200nm 크기의 CeO$_2$ 결정이 시편의 표면에 생성되었다. 표면에서 결정화된 입자의 빈도는 유약의 내부보다 훨씬 높았으며, 전체 표면적의 60% 이상을 배향된 CeO$_2$ 결정이 점유하였다. 배향된 CeO$_2$ 결정립은 유약내의 프릿 입자가 완전히 용융되어 내부 계면이 사라진 이후부터 발달하기 시작하였다. 본 연구에서 개발된 유약의 러스터 효과는 유약표면에 석출된 CeO$_2$가 고굴절을 갖는 물직일 뿐만 아니라 최대 산란을 일으키는 결정크기(200nm)이고 판상형태로 배열되어 있기 때문인 것으로 판단된다.

클러스터를 이용한 공간데이타 디클러스터링 (Declustering Spatial Objects by Clustering for Parallel Disks)

  • 곽지숙;김학철;이기준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.168-170
    • /
    • 1999
  • 지리정보시스템과 같은 공간 데이터베이스에서 다루는 데이터는 대용량이며, 사용자의 다양한 질의에 따라 빠르게 접근할 수 있어야 한다. 그런데 이때 성능의 대부분이 디스크 접근시간에 의해 영향을 받으므로 접근시간을 줄이는 기술이 필요하다. 이는 다수의 디스크 공간에 데이터를 분산하여 저장하는 디클러스터링 방법을 사용함으로써 효과적인 성능 향상을 기대할 수 있다. 효과적인 디클러스터링 방법은 주어진 질의에 대하여 동시에 접근될 가능성이 있는 공간 객체를 다른 디스크에 각각 저장함으로써 한번에 접근하는 병렬성을 높일 수 있다. 그러나 하나의 디스크에게 할당 가능한 공간 객체들을 서로 다른 디스크에 할당하는 것은 오히려 성능의 저하를 초래할 수 있다. 이러한 두 가지 조건을 동시에 만족하기 위해서는 공간 객체들을 클러스터링 한 후, 크러러스터 단위로 디스크로 할당하는 것이 효과적이다. 이전에 제시된 디클러스터링 방법들은 이러한 요소를 고려하지 않았다. 이에 본 논문에서는 주어진 공간 객체들에 대해서 일정한 크기의 클러스터를 만들고 클러스터 단위로 디클러스터링 하여 효율적인 성능 향상을 보이는 새로운 방법에 대해서 제시하고자 한다. 또한 이전에 제시되어졌던 여러 가지 디클러스터링 방법들과의 비교실험을 통해, 본 논문에서 제시한 방법이 가장 효과적인 방법임을 밝히고자 한다.

  • PDF

고성능 스토리지를 이용한 Lustre 파일 시스템의 성능 분석 연구 (Performance Analysis of Lustre File System using High Performance Storage Devices)

  • 이재환;구동훈;박경민;김직수;황순욱
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권4호
    • /
    • pp.163-169
    • /
    • 2016
  • Lustre는 대용량 분산파일 시스템의 일종으로 슈퍼컴퓨팅 분야에서 널리 사용되고 있다. 최근 SSD의 등장으로 인해, 고성능 스토리지를 구성할 수 있는 하드웨어적인 발전은 이루어졌으나, 이에 따른 소프트웨어적인 발전은 아직 따라가지 못하고 있다. 본 논문에서는 SSD를 이용한 Lustre시스템의 성능을 실험을 통해 측정하고 분석하였다. 하드디스크로 구성된 Lustre와 SSD로 구성된 Lustre를 각각 비교실험을 통해, 전체 대역폭 및 메타데이터 접근 성능에 대해서 분석하고, 장단점을 비교한다. 실험결과, 1) 랜덤 접근에 강한 SSD를 메타데이터용 저장공간에 사용하는 것이 효율적이며, 2) 스레드 수가 많거나, 작은 파일이 많은 경우 SSD를 데이터 저장 디스크로 사용하는 것이 성능의 이점이 있다.

Generalized Clustering Network를 이용한 전방향 학습 알고리즘 (Feed-forward Learning Algorithm by Generalized Clustering Network)

  • 민준영;조형기
    • 한국정보처리학회논문지
    • /
    • 제2권5호
    • /
    • pp.619-625
    • /
    • 1995
  • 본 연구에서는 역전파(backpropagationlk)학습 알고리즘에 대체될 수 있는 전방향 학습 알고리즘에 준하는 혼합 인식모형을 구성한다. 본 알고리즘은 Nikhil R. Pal (1993)이 제안한 GLVQ(Generalized Learning Vector Quantization)를 이용하여 패턴을 클러스터링 한 다음 비유사성(dissimilarity)을 가진 패턴끼리 재구성(regrouping) 하여 단순 퍼셉트론(simple perceptron)을 이용하여 group별 학습을 한다. 일반적으로 역전파학습인 학습시간이 많이 소요된다는 단점이 있다[1]. 본 알고리즘의 특징으로 는 feed-forward학습이기 때문에 학습시간이 단축될 뿐만 아니라 전체 패턴을 그룹별 로 나누어 학습을 하기 때문에 인식률도 향상 시킬 수 있다. 본 알고리즘에 적용한 데 이타는 250개의 ASCII코드를 16$\times$8격자에 정규화시킨 비트 패턴(bit pattern)을 이용 하였다. 실험결과 250개의 패턴을 10개의 클러스터로 나누어 학습을 시켰을 때 각 클 러스터별 평균반복횟수 94.7회만에 250개의 ASCII코드를 100% 인식할 수 있었다.

  • PDF