• 제목/요약/키워드: 분산파일시스템

검색결과 384건 처리시간 0.033초

저널링 파일 시스템을 위한 비휘발성 메모리 기반 병행적 저널링 기법의 설계 및 구현 (Design and Implementation of NVM-based Concurrent Journaling Scheme)

  • 박수희;이은영;한혁
    • 한국콘텐츠학회논문지
    • /
    • 제21권7호
    • /
    • pp.157-163
    • /
    • 2021
  • 파일 시스템에서 하나의 쓰기 연산은 여러 데이터를 수정할 수 있지만, 이러한 파일 시스템의 변경들은 원자적으로 디스크에 써지지 않는다. 따라서 파일 시스템의 일관성을 위해 기존의 저널링 기법은 시스템 성능을 저하시키는 대신 충돌 일관성을 보장한다. 비휘발성 메모리를 저널 공간으로 사용하면 비휘발성 메모리의 낮은 지연 시간과 바이트 수준 접근성으로 성능 저하를 완화시킬 수 있다고 알려졌다. 그러나 비휘발성 메모리를 고려한 저널링 기법 중에서 확장성을 제공하는 것은 없다. 본 논문에서는 확장적 저널링을 위해 비휘발성 메모리상의 저널 공간을 여러 영역으로 분할하여 한 영역에 집중된 연산을 분산시킨다. 또한, 저널 영역별로 입출력 쓰레드를 두어 저장 장치에 데이터 쓰기 연산을 가속화한다. 제안된 기법을 JFS에 적용하여 고성능 저장장치를 탑재한 멀티코어 서버에서 이를 평가한다. 평가 결과는 제안된 기법이 기존의 NVM 기반 저널링 파일 시스템의 기법보다 성능이 우수함을 보여준다.

고성능 스토리지를 이용한 Lustre 파일 시스템의 성능 분석 연구 (Performance Analysis of Lustre File System using High Performance Storage Devices)

  • 이재환;구동훈;박경민;김직수;황순욱
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권4호
    • /
    • pp.163-169
    • /
    • 2016
  • Lustre는 대용량 분산파일 시스템의 일종으로 슈퍼컴퓨팅 분야에서 널리 사용되고 있다. 최근 SSD의 등장으로 인해, 고성능 스토리지를 구성할 수 있는 하드웨어적인 발전은 이루어졌으나, 이에 따른 소프트웨어적인 발전은 아직 따라가지 못하고 있다. 본 논문에서는 SSD를 이용한 Lustre시스템의 성능을 실험을 통해 측정하고 분석하였다. 하드디스크로 구성된 Lustre와 SSD로 구성된 Lustre를 각각 비교실험을 통해, 전체 대역폭 및 메타데이터 접근 성능에 대해서 분석하고, 장단점을 비교한다. 실험결과, 1) 랜덤 접근에 강한 SSD를 메타데이터용 저장공간에 사용하는 것이 효율적이며, 2) 스레드 수가 많거나, 작은 파일이 많은 경우 SSD를 데이터 저장 디스크로 사용하는 것이 성능의 이점이 있다.

공개소스프로젝트를 이용한 사이버물리시스템 데이터분석아키텍처 (CPS Data Analysis Architecture using Open Source Projects)

  • 임유진;최은미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.172-175
    • /
    • 2013
  • 사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

분산 에이젠트를 이용한 침입 탐지 시스템 모델 (Design of Intrusion Detection System Model using Attributed Agent)

  • 정종근;김용호;이윤배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.777-780
    • /
    • 2000
  • 최근 세계적으로 유수한 인터넷 사이트들의 해킹으로 인해 네트워크 보안의 중요성이 강조되고 있다. 네트워크 보안을 위해 방화벽보다는 좀 더 신뢰성이 높은 네트워크 및 시스템에 대한 보안 솔루션으로 침입 탄지 시스템(IDS)이 차세대 보안 솔루션으로 부각되고 있다. 본 논문에서는 기존의 IDS의 단점이었던 호스트 레벨에서 확장된 분산환경에서의 실시간 침입 탐지는 물론 이기종간의 시스템에서도 탐지가 가능한 새로운 IDS 모델을 제안.설계하였다. 그리고, 프로토타입을 구현하여 그 타당성을 검증하였다. 이를 위해 서로 다른 이기종에서 침입 탐지에 필요한 감사 파일을 자동적으로 추출하기 위해서 분산 에이전트를 이용한다.

  • PDF

분산 멀티미디어 기반의 원격의료시스템 설계 및 구현 (Design and Implementation of a Telemedicine System based on Distributed Multimedia)

  • 이병수;안영두;박두석
    • 한국컴퓨터정보학회논문지
    • /
    • 제5권2호
    • /
    • pp.81-89
    • /
    • 2000
  • 본 논문에서는 효율적이며 편리한 원격의료시스템을 개발하기 위해 분산 멀티미디어 기술을 바탕으로 256kbps 전용선과 10Mbps Ethernet LAN망을 기반으로 원격의료시스템을 설계 및 구현하였다. 원격 의료시스템은 분산멀티미디어 기술을 이용하여 여러 개의 영상획득장치와 저장 장치 및 서버들을 네트워크와 효율적으로 연결함으로써 통한 환경아래 빠르고 간편하게 의료영상을 열람하고 저장, 전송할 수 있게 하였다. 의료영상의 전송 효율을 높이고 추후 Web의로의 확장을 위해서 JPEG방식의 영상압축을 실시하였으며 데이터베이스의 안정성과 효율을 높이기 위해 의료정보를 데이터베이스로 의료영상을 파일로 데이터베이스로 구축하여 관리할 수 있게 설계와 구현을 하였다.

  • PDF

분산 에이전트 침입 탐지 시스템의 성능 평가 (Performance Evaluation of Intrusion Detection System with Attributed Agent)

  • 정종근;김용호;박찬호;이윤배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.387-390
    • /
    • 2001
  • 최근 세계적으로 유수한 인터넷 사이트들의 해킹으로 인해 네트워크 보안의 중요성이 강조되고 있다. 네트워크 보안을 위해 방화벽보다는 좀더 신뢰성이 높은 네트워크 및 시스템에 대한 보안 솔루션으로 침입 탐지 시스템(Intrusion Detection System)이 차세대 보안 솔루션으로 부각되고 있다. 본 논문에서는 기존의 IDS의 단점이었던 호스트 레벨에서 확장된 분산환경에서의 실시간 침입 탐지는 물론 이기종간의 시스템에서도 탐지가 가능한 새로운 IDS 모델을 제안 설계하였다. 그리고, 프로토타입을 구현하여 그 타당성을 검증하였다. 이를 위해 서로 다른 이기종에서 분산 침입 탐지에 필요한 강사 파일을 자동적으로 추출하기 위해서 패턴 추출 에이전트를 이용하였다.

  • PDF

분산 XML 데이터베이스에서 질의 컴파일 시 카탈로그 관리 기법의 성능 평가 (Performance Evaluation of Catalog Management Schemes for Distributed XML Database at the Query Compile Time)

  • 장건업;홍의경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.77-82
    • /
    • 2006
  • 최근 컴퓨팅 환경은 클라이언트-서버(client-server) 환경에서 웹(World Wide Web)을 기반으로 한 분산 컴퓨팅(distributed computint) 환경으로 변화하고 있다. 그에 따라 XML 문서의 사용과 XML 문서의 양이 급속하게 증가하였다. 언제 어디서나 쉽게 필요한 XML 문서에 접근해야하며, 이러한 응용을 위해 짧은 시간 내에 그 정보를 전달할 수 있어야 한다. 이에 따라 분산 환경에서의 XML 문서의 처리가 요구된다. XML 데이터를 분산 데이터베이스의 특성을 이용하여 저장, 관리, 질의하는 분산 XML 데이터베이스 시스템(Distributed XML Database System)의 사용의 필요성이 증가하고 있다. 이에 따라, 사이트의 자치성, 질의 최적화, 데이터의 투명성 등에 큰 영향을 미치는 분산 XML 데이터베이스 시스템에서의 카탈로그 관리 기법의 연구의 필요성이 증가하게 된다. 본 논문에서는 중앙 집중식 카탈로그와 완전 중복식 카탈로그, 분할식 카탈로그를 분산 XML 데이터베이스 시스템에서 CPU 비용, I/O 비용, 동시성 제어, 이단계 완료 프로토콜, 큐잉 지연 등을 모두 고려한 모델을 설계하였고, 이를 시뮬레이터로 구현하여 각 카탈로그 관리 기법들의 성능을 합리적인 환경 설정을 통해 시뮬레이션함으로써 카탈로그 관리 기법들의 성능을 평가하였다.

  • PDF

대용량 공유디스크 파일 시스템에 적합한 메타 데이타 구조의 설계 및 구현 (Design and Implementation of a Metadata Structure for Large-Scale Shared-Disk File System)

  • 이용주;김경배;신범주
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제30권1호
    • /
    • pp.33-49
    • /
    • 2003
  • 인터넷의 확산으로 대용량 멀티미디어 데이타에 대한 요구가 증가하고 있으며 이를 효율적으로 관리하기 위한 스토리지에 대찬 연구가 진행되고 있다. 기하급수적으로 늘어나는 스토리지에 대한 요구를 해결하기 위해서 제시된 방법중의 하나가 공유디스크 환경을 제공하는 SAN(Storage Area Network)이다. SAN은 fibre channel이라는 고속 전송망을 이용해서 고속의 저장장치를 위한 네트워크를 구성한 것이다. 하지만 저장장치 네트워크의 구성만으로는 스토리지에 대한 요구는 해결하였지만 이를 사용자에게 제공하기 위한 공유디스크 환경에서의 파일시스템에 대한 연구는 미진하다. 특히 기존에 제시된 로컬 파일 시스템, 분산 파일시스템에서는 공유디스크환경에 적합하지 않으며 대용량 스토리지에 적합한 메타 데이터 구조 측면에서의 설계는 부족한 실정이다. 이를 해결하기 위해 본 논문에서는 공유디스크 환경에 적합한 메타 데이타 구조를 설계 및 구현하여 대용량 스토리지에 적합한 공유디스크 파일 시스템을 제시한다. 구현한 공유디스크 파일시스템은 SAN fabric에 참여하는 호스트들 사이의 균형적인 할당 블록을 주기 위한 파일시스템 레이아웃과 비트맵 관리기법, 대용량 파일을 위한 효율적인 익스텐트 기반의 SEMI FLAT구조를 제안하였으면, 대용량의 디렉토리를 사용할 수 있게 확장해싱을 이용한 2단계 디랙토리 관리 구조를 설계 및 구현하였다. 또한 리눅스 커널 상에서 제시한 메타 데이타 구조에 대한 구현에 필요한 구조 정보와 알고리즘을 제시하였으며. 성능의 우수성을 보이기 위해 리눅스 환경의 대표적인 파일 시스템인 EXT2, 공유디스크 환경의 GFS와의 성능을 파일 생성, 디렉토리 생성, I/O횟수 측면에서 비교하였다.

효과적인 Embedded Tester Log 처리를 위한 Messaging System 분석 (Messaging System Analysis for Effective Embedded Tester Log Processing)

  • 남기안;권오영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.645-648
    • /
    • 2017
  • 기존의 Embedded Tester는 Log 처리를 위해 TCP와 공유 파일 시스템을 이용한 Server - Client간 1-N 구조로 처리 되었다. 이러한 방식은 구현 난이도에 따른 시간적 손실과 예외처리에 따른 Tester의 리소스 낭비가 발생한다. 이에 메시징 시스템을 이용하여 분산처리가 가능한 Log 처리 메시지 레이어를 구현하고 기존의 TCP, 공유 파일 시스템 전송방식과 비교하였다. 비교 결과 메시지 레이어를 이용한 전송이 TCP 보다 더 높은 전송 대역폭을 보였다. CPU 사용량에서 메시지 레이어가 TCP 보다 낮은 효율을 보였으나 큰 차이를 보이지 않았다. 이를 통해 메시지 레이어를 이용한 Log 처리가 더 높은 효율을 보임을 알 수 있었다.

  • PDF

비밀분산기법을 이용한 분산 트랜스코딩 시스템 연구 (A Study on the Distributed Transcoding System using Secret Sharing Techniques)

  • 송유진;구석모;김의창
    • 디지털융복합연구
    • /
    • 제12권11호
    • /
    • pp.233-239
    • /
    • 2014
  • 초고해상도 콘텐츠는 파일 크기가 매우 크기 때문에 기존의 부호화 기술로는 네트워크를 통해 전송하는 것이 불가능하다. 고효율의 부호화 기법인 HEVC를 이용하면 네트워크 전송이 가능하나 압축시간이 많이 필요하기 때문에 분산 트랜스코딩 시스템이 필요하다. 분산 트랜스코딩 시스템은 데이터를 분산하여 저장한 뒤 다수의 노드를 이용하여 부호화한다. 그러나 분산 트랜스코딩 시스템은 분산된 정보가 노출되거나 내부관리자의 공격에 취약하다는 문제점이 있다. 본 논문에서는 초고해상도 콘텐츠를 트랜스코딩 할 때, 분산 트랜스코딩 시스템의 기밀성이 보장되지 않는다는 문제점을 해결하고자 한다. 우리는 SNA를 이용하여 데이터 노드에서 HEVC로 부호화된 콘텐츠 데이터를 비밀분산기법을 통해 암호화하여 저장했다. 결과적으로 안전한 분산 트랜스코딩이 가능하고, 내부관리자의 공격을 방지할 수 있다.