• Title/Summary/Keyword: lustre

Search Result 18, Processing Time 0.023 seconds

Performance Analysis of Lustre File System using High Performance Storage Devices (고성능 스토리지를 이용한 Lustre 파일 시스템의 성능 분석 연구)

  • Lee, Jaehwan;Koo, Donghun;Park, Kyungmin;Kim, Jiksoo;Hwang, Soonwook
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.4
    • /
    • pp.163-169
    • /
    • 2016
  • Lustre is a scalable, distributed file system, which is popular in the field of high-performance computing. Recently, the advent of SSD has enabled high-performance storage hardware, but software development requires further improvement. In this paper, we analyzed performance of the Lustre system using SSD via extensive experimentation. We compared performance of Lustre on SSDs and HDDs in terms of file read/write throughputs and metadata access latencies. Our experimental results showed that 1) SSDs improve metadata access performance due to fast random read/write access of SSD characteristics, and 2) SSD are benefited to a greater extent under multiple threads and large numbers of small sized files.

Implementation and Performance Analysis of Hadoop MapReduce over Lustre Filesystem (러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Huh, Taesang;Hwang, Soonwook
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.8
    • /
    • pp.561-566
    • /
    • 2015
  • Hadoop is becoming widely adopted in scientific and commercial areas as an open-source distributed data processing framework. Recently, for real-time processing and analysis of data, an attempt to apply high-performance computing technologies to Hadoop is being made. In this paper, we have expanded the Hadoop Filesystem library to support Lustre, which is a popular high-performance parallel distributed filesystem, and implemented the Hadoop MapReduce execution environment over the Lustre filesystem. We analysed Hadoop MapReduce over Lustre by using Hadoop standard benchmark tools. We found that Hadoop MapReduce over Lustre execution has a performance 2-13 times better than a typical Hadoop MapReduce execution.

The development of the high effective and stoppageless file system for high performance computing (High Performance Computing 환경을 위한 고성능, 무정지 파일시스템 구현)

  • Park, Yeong-Bae;Choe, Seung-Hwan;Lee, Sang-Ho;Kim, Gyeong-Su;Gong, Yong-Jun
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2004.11a
    • /
    • pp.395-401
    • /
    • 2004
  • In the current high network-centralized computing and enterprising environment, it is getting essential to transmit data reliably at very high rates. Until now previous client/server model based NFS(Network File System) or AFS(Andrew's Files System) have met the various demands but from now couldn't satisfy those of the today's scalable high-performance computing environment. Not only performance but data sharing service redundancy have risen as a serious problem. In case of NFS, the locking issue and cache cause file system to reboot and make problem when it is used simply as ip-take over for H/A service. In case of AFS, it provides file sharing redundancy but it is not possible until the storage supporting redundancy and equipments are prepared. Lustre is an open source based cluster file system developed to meet both demands. Lustre consists of three types of subsystems : MDS(Meta-Data Server) which offers the meta-data services, OST(Objec Storage Targets) which provide file I/O, and Lustre Clients which interact with OST and MDS. These subsystems with message exchanging and pursuing scalable high-performance file system service. In this paper, we compare the transmission speed of gigabytes file between Lustre and NFS on the basis of concurrent users and also present the high availability of the file system by removing more than one OST in operation.

  • PDF

A Parallel Implementation of Purge Process for Lustre File System (Lustre 파일 시스템을 위한 Purge 기능의 병렬화 구현)

  • Kwon, Min-Woo;Yoon, Jun-Weon;Hong, Tae-Young;Park, Chan-Yeol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.64-65
    • /
    • 2016
  • 슈퍼컴퓨터는 대용량의 데이터를 효율적으로 관리하기 위해 Lustre 파일 시스템과 같은 고성능의 병렬 파일 시스템을 이용한다. 한국과학기술정보연구원의 슈퍼컴퓨터 4호기 Tachyon 2차 시스템과 같이 다수의 사용자가 접속하는 슈퍼컴퓨터는 사용자의 데이터가 한없이 누적됨으로 Lustre 파일 시스템의 성능이 저하되는 이슈가 있다. 본 논문에서는 사용자의 데이터가 누적되는 것을 방지하기 위해 장기간 사용하지 않는 데이터를 자동 삭제하는 기능인 Purge기능을 구현하였다. 특히, 기하급수적으로 늘어나는 병렬 파일 시스템의 용량에 대처하기 위해 병렬 컴퓨팅 기술을 이용해 고속 Purge 기능을 구현하였다. 단일 컴퓨팅 노드와 병렬 환경에서 구현한 결과를 비교하였을 때, 단일 컴퓨팅 노드에서는 1,517GB 용량을 지우는데 221.2초가 걸렸으며 16개의 컴퓨팅 노드를 이용한 병렬 환경에서는 49.9초가 걸렸다. 이 결과를 비교했을 때 단일 컴퓨팅 노드에서 구현한 결과 대비 병렬 환경에서 구현했을 때 약 4.4배의 성능향상을 얻을 수 있었다.

Implementing SCR Specification with LUSTRE (LUSTRE를 이용한 SCR 명세의 구현)

  • Jo, Seung-Mo;Cha, Seong-Deok
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.2
    • /
    • pp.251-262
    • /
    • 1999
  • SCR 방법론은 고 신뢰도를 요구하는 시스템 개발을 위해 사용되는 요구사항의 정형적 명세의 하나로 , 오랜 역사와 많은 응용 사례를 가지고 있다. 이 방법론에 따라 사용자가 요구사항을 명세했을 때 그것을 어떻게 정확하게 구현할 수 있는지가 중요한 문제가 된다. 본 논문에서는 SCR로 작성된 명제를 그 의미를 보전하는 구현언어로 자동으로 변환시키는 방법을 제시한다. SCR 명제가 가지는 자료흐름언어와의 유사성을 이용하기 위해, 구현언어로, 동기적 자료흐름 언어인 LUSTRE를 선택했고, 그 변환 과정을 제시했다. 제안한 방법의 유용성을 살피기 위해, SCR과 유사한 방법으로 작성된 월성 원자력 발전소의 제 2 정지 시스템의 일부분을 변환하는 실험을 수행, 그 결과를 비교하였다. 정형명제가 도입되어서 사용될 경우 본 연구는 개발의 전체 소요시간을 줄여줄 수 있고 좀 더 신뢰성 있는 결과물을 내는데 도움을 줄 수있다.

Specification, verification, and implementation of an embedded system with SCADE/Lustre (SCADE/Lustre를 이용한 임베디드 시스템의 명세, 검증 및 구현)

  • Song, Gwan-Ho;Sim, Jae-Hwan;Ahn, Young-Jung;Choi, Jin-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10a
    • /
    • pp.443-448
    • /
    • 2006
  • 본 논문은 safety critical 실시간 반응형 시스템 하에서의 임베디드 소프트웨어 개발에 적합한 방법을 찾기 위해서 여러 가지 정형기법에 대해 논의하고 그 중 하나인 SCADE를 이용해 실제 임베디드 시스템을 직접 명세하고 검증한 후 구현한 내용을 서술한다. 본 논문에서는 data flow synchronous 언어인 Lustre를 소개하고, 소개된 언어가 실시간 반응형 시스템의 검증과 구현에 왜 적합한지를 논의하며, 하나의 시스템을 SCADE를 이용해서 명세하고 검증한 후 구현 한다. 수행된 실험을 통해서 data flow synchronous 언어는 실시간 반응형 시스템의 명세, 구현 그리고 검증에 적합한 언어라는 것을 언급하고, 이 언어의 사용이 복잡한 임베디드 시스템 개발에 효과적으로 사용될 수 있음을 제시한다.

  • PDF

A Study on the Design of Ambari Service for Lustre Parallel File System Auto Provisioning (Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구)

  • Kwak, Jae-Hyuck;Kim, Sangwan;Byun, Eunkyu;Nam, Dukyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.45-47
    • /
    • 2017
  • 하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

Development of High Sensible Fabrics Using Worsted Yarn Drawing Technology (소모사 연신기술 이용 고감성 직물소재 개발)

  • Kim, Seung-Jin
    • Science of Emotion and Sensibility
    • /
    • v.10 no.4
    • /
    • pp.623-629
    • /
    • 2007
  • Recently, the $"Optim"^{(R)}$ which is the wool fibre with high lustre developed by CSIRO in Australia is imported and commercialized as a high sensible fabrics for garment. But the price of this $"Optim"^{(R)}$ fibre is very high so material demand and supply is not smooth. This study is aiming to develop the drawing technology of the worsted yarn with washable function, lustre and low production cost. For this purpose, drawing yarns are made using developed drawing machine and high sensible fabrics are woven using this yarns, and various physical properties of the fabric specimen are measured and analysed with garment characteristics such as sewability and formability. The final objective of this study is seemed to be achieved by making the high sensible fabrics using drawing worsted yarns with high lustre such as $"Optim"^{(R)}$ fibre.

  • PDF

Physicochemical Characteristics of Soybean Seed Coat and Their Relationship to Seed Lustre (콩 종피의 이화학적 특성과 광택과의 관계)

  • Kim Sun-Lim;Chi Hee-Youn;Son Jong-Rok;Park Nam-Kyu;Ryu Su-Noh
    • KOREAN JOURNAL OF CROP SCIENCE
    • /
    • v.50 no.spc1
    • /
    • pp.123-131
    • /
    • 2005
  • Lipid and protein contents in whole soybean seeds have negative correlation (r=-0.693**), however, these components in seed coat showed positive correlation (r=0.746**). Fatty acids in whole soybean seeds were higher in the order of $C_{18:2}>C_{18:1}>C_{16:0}>C_{18:3}>C_{18:0}$, while those of seed coat were higher in the order of $C_{18:3}>C_{18:2}>C_{18:0}>C_{16:0}>C_{18:1}$. The average content of total amino acid in twenty Korean soybean varieties was 38,938.7 mg/100 g, while that of seed coat was 4,418.4 mg/100g. Glutamic acid showed the highest composition rate $(16.4\%)$ in whole soybean seeds, while glycine was the highest in seed coat and their composition rate was $23.8\%$. The surface of shiny-lustre seed coats was smooth and their pore size was observed smaller than dull-lustre ones. Significant quadratic regression was observed among seed coat lightness, seed coat thickness, protein, lipid, unsaturated fatty acid and crude fiber. Fucose, rhamnose, glucose, mannose, galactose, arabinose and xylose were detected as a neutral mono-saccharides in the seed coats. The arabinose and xylose showed significant correlation with seed coat lightness. The unsaturated fatty acid was significantly correlated with seed coat lightness (r=0.726**). Water absorption rate was low in the thick seed coat varieties, but the rate was high in the shiny seed coat varieties. From the obtained results, it was considered that the thinner and brighter seed coat varieties were much favorable to increase the water absorption rate than thicker and darker seed coat ones.