• 제목/요약/키워드: 분산파일시스템

검색결과 384건 처리시간 0.028초

HMM을 이용한 HDFS 기반 동적 데이터 복제본 삭제 전략 (A Dynamic Data Replica Deletion Strategy on HDFS using HMM)

  • 서영호;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.241-244
    • /
    • 2014
  • 본 논문에서는 HDFS(Hadoop Distributed File System)에서 문제되고 있는 복제정책의 개선을 위해 HMM(Hidden Markov Model)을 이용한 동적 데이터 복제본 삭제 전략을 제안한다. HDFS는 대용량 데이터를 효과적으로 처리할 수 있는 분산 파일 시스템으로 높은 Fault-Tolerance를 제공하며, 데이터의 접근에 높은 처리량을 제공하여 대용량 데이터 집합을 갖는 응용 프로그램에 최적화 되어있는 장점을 가지고 있다. 하지만 HDFS 에서의 복제 메커니즘은 시스템의 안정성과 성능을 향상시키지만, 추가 블록 복제본이 많은 디스크 공간을 차지하여 유지보수 비용 또한 증가하게 된다. 본 논문에서는 HMM과 최상의 상태 순서를 찾는 알고리즘인 Viterbi Algorithm을 이용하여 불필요한 데이터 복제본을 탐색하고, 탐색된 복제본의 삭제를 통하여 HDFS의 디스크 공간과 유지보수 비용을 절약 할 수 있는 전략을 제안한다.

  • PDF

P2P를 이용한 패치 분배 시스템의 효율적인 패치 파일 분배 방안 연구 (An Efficient Patch File Distribution Method for PMS Using P2P)

  • 이수영;이인용;문종섭
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2008년도 동계학술대회
    • /
    • pp.13-16
    • /
    • 2008
  • 패치 분배 시스템은 중앙 집중 방식의 구조를 가지고 있다. 이런 중앙 집중 방식의 구조는 많은 사용자가 존재할 경우 영향력이 서버에 집중된다. 따라서 한 노드로 미치는 영향을 최소화하기 위해서 본 논문에서는 P2P 통신 구조의 유연함과 분산적인 성격을 이용한 패치 분배 시스템 구조를 제시한다. 또한 패치 파일이 정상적으로 안전하게 전송 하도록 P2P 프레임 워크를 제안 한다. 이 프레임 워크는 파일에 대한 내용변조에 민감하게 반응 하도록 설계 되었다. 그러므로 우리는 웜, 바이러스, 그리고 해킹에 입구가 되는 취약점을 없애기 위한 패치 파일을 빠른 속도로 네트워크의 구성원에 전파 할 수 있게 된다.

  • PDF

피어 링크 예측을 위한 토렌트 네트워크 트래픽 분석 (BitTorrent Network Traffic Analysis for Peer Link Prediction)

  • 정연오;김누리;이지형
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.187-188
    • /
    • 2013
  • 비트토렌트는 인터넷을 통해 빠르고 효율적으로 파일을 공유할 수 있는 P2P (Peer-to-Peer) 파일전송 프로토콜이다. 파일을 P2P 네트워크 상에 분산하여 저장하고 서로 다른 환경의 피어들이 각자의 필요에 따라 쉽게 네트워크를 떠날 수 있기 때문에, 비트토렌트 네트워크는 매우 복잡하고 동적인 구조를 가진다. 본 연구에서는 이러한 네트워크 구조, 특히 피어들 간의 링크생성과 분리를 예측하여 비트토렌트 파일공유 시스템의 성능을 향상시키고자 하는 방향을 제시한다. 토렌트 크롤러 비트토렌트 네트워크 모니터링 시스템을 사용해 네트워크 부하를 최소화하며 네트워크 트래픽을 분석하고, 관찰된 네트워크 트래픽 특성을 통해 링크를 예측하는 방법을 제안한다.

Non-midway 광 위상 공액과 비대칭 구조의 분산 맵을 통한 WDM 신호의 왜곡 보상 (Compensation of WDM Signal Distortion through Non-midway Optical Phase Conjugation and Dispersion Maps of Asymmetric Structure)

  • 이성렬
    • 한국항행학회논문지
    • /
    • 제27권6호
    • /
    • pp.855-860
    • /
    • 2023
  • 파장 분할 다중 (WDM; wavelength division multiplexed)과 같은 다중 전송 신호의 장거리 전송은 전송 링크에 분산 제어와 광 위상 공액의 적용, 그리고 이 둘의 결합을 통해 색 분산과 비선형성에 의한 왜곡을 보상할 수 있기 때문에 가능해졌다. 광 위상 공액을 광 전송 링크에 적용하는 데 있어 가장 큰 장애 요소는 핵심 소자인 광 위상 공액기의 위치가 전체 전송 라인 중간에만 위치해야 한다는 것이다. 본 논문은 이러한 OPC의 위치 제약성을 비대칭 분산 맵의 적용을 통해 극복할 수 있다는 것을 보이고 있다. 본 논문에서 고려한 OPC의 위치는 전체 48개의 광섬유 스팬 중 8번째와 9번째 광섬유 스팬 사이에 존재한다. 또한 분산 맵은 OPC를 중심으로 비대칭한 누적 분산 프로파일을 갖는다. 시뮬레이션 결과 제안한 비대칭 분산 맵의 누적 분산 프로파일 분포의 전체적 모양과 프로파일 기울기의 선택에 따라 WDM 채널의 왜곡 보상 효과를 전통적 분산 맵이 적용된 링크에서보다 늘릴 수 있는 것을 확인하였다.

분산 시스템 구성관리를 위 한 XML 매핑 프레임워크의 설계 및 구현 (Design and Implementation Of XML Mapping Framework For Configuration Management in Distributed Systems)

  • 윤태웅;민덕기
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.481-483
    • /
    • 2003
  • 분산 시스템 구성관리를 위해서는 여러 가지 구성환경정보를 로컬 파일 시스템에 저장하거나 네트워크를 통해서 다른 노드에 전달하는 방법이 필요하다. 본 논문에서는 구성관리를 위한 자바 객체와 XML을 사용한 분산시스템의 구성관리를 위한 영속성, 구조화. 재사용성을 가진 구성관리 프레임워크를 제시한다. 기존 연구에서는 문자열 타입만 제공하거나 자바 언어의 모든 타입을 빈즈 규약에 따라서 접근하였으나 본 연구에서는 재사용성과 성능향상을 위해서 구성관리에서 사용되는 일반타입, 리스트타입, 중첩타입으로 이루어진 구성정보 모델을 사용하였다. 또한 JDK버젼과 XML파서 방식에 따른 성능 분석 결과를 제시한다. 또한 분산 시스템에서 이벤트 기반의 메시징 시스템의 이벤트를 전달하는 표준적인 API로 사용될 수 있다.

  • PDF

하둡 플랫폼을 이용한 대량의 스몰파일 처리방법 (Processing Method of Mass Small File Using Hadoop Platform)

  • 김창복;정재필
    • 한국항행학회논문지
    • /
    • 제18권4호
    • /
    • pp.401-408
    • /
    • 2014
  • 하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

분산 주기억장치 데이타베이스에서 컴파일 시 카탈로그 관리 기법의 성능평가 (Performance Evaluation of Catalog Management Schemes for Distributed Main Memory Database : Compilation Cases)

  • 정한라;홍의경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.118-120
    • /
    • 2001
  • 분산 DBMS에 대한 연추는 디스크에 데이타가 저장되어 있는 환경을 가정한 관계 DBMS에서 주로 진행되어 왔다. 디스크에 데이타가 저장되어 있다고 가정하는 시스템은 질의 최적화, 버퍼 관리기, 인덱스관리 기법 등 여러 가지 측면에서 주기억 장치 DBMS와 크게 다르기 때문에 이런 분산 DBMS에서 연구된 결과들을 그대로 주기억장치 상주 DBMS의 분산 시스템에 적용하기에는 어려움이 있다. 본 논문에서는 이러한 주기억장치 상주 중앙 집중형 DBMS를 분산 시스템으로 확장할 때 고려해야 한 여러 문제 중 캐시의 유무에 따른 카탈로그의 구조에 대해 살펴보고 시뮬레이션을 통해 카탈로그 관리기법에 대한 성능을 평가한다. 카탈로그 관리 기법의 성능평가 대상으로는 사이트의 자치성을 고려하여 분할된 카탈로그 방식을 택하였다. 실험의 결과는 캐시를 이용하는 카탈로그가 캐시를 사용하지 않는 카탈로그보다 좋은 성능을 나타냈다.

  • PDF

Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템의 설계와 구현 (Design and Implementation of the Parallel Multimedia File System on Fast Ethernet)

  • 박성호;김광문;정기동
    • 정보처리학회논문지B
    • /
    • 제8B권1호
    • /
    • pp.89-97
    • /
    • 2001
  • 대용량 멀티미디어 미디어 서버를 구성함에 있어 I/O 병목현상을 극복하기 위하여 저장 서버들과 제어 서버로 구성되어진 2계층 분산 클러스터 서버구조가 많이 사용된다. 2 계층 분산 클러스터 서버는 부하 균등, 대역폭 관리 및 저장 서버의 관리 측면에서 유리한 반면, 저장 서버와 제어 서버간의 통신 오버헤드를 발생시킨다. 이러한 오버헤드를 줄이기 위해서는 저장 서버에서 읽은 미디어 데이터를 제어 서버를 거치지 않고 직접 클라이언트에 전송할 수 있어야 한다. 그리고, 저장 용량을 확장하거나 손상된 디스크를 교체하는 경우를 대비하여 분산 클러스터 서버는 다양한 성능의 이기종 디스크를 지원하여야 한다. 또한, I/O 장치와 운영체제가 빠르게 발전됨에 따라 미디어 서버는 새로운 I/O 장치 및 운영체제 등에 쉽게 이식될 수 있어야 하고, 응용 소프트웨어 개발자가 시스템의 환경에 따라 블록크기, 데이터 배치정책, 사본 정책 등을 유연하게 조절할 수 있어야 한다. 본 논문에서 위에서 언급한 멀티미디어 서버의 요구를 고려하여 Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템(PMFS : Parallel Multimedia File System)을 설계 및 구현하고 실험을 통해 PVFS(Parallel Virtual File System)와 성능을 비교 분석하였다. 이 실험의 결과에 따르면 PMFS는 멀티미디어 데이터에 대하여 PVFS보다 3%∼15%의 향상된 성능을 보였다.

  • PDF

화력발전소 시뮬레이터용 분산제어시스템 변환기 개발 (Development of Distribute Control System Translator for Fossil Power Plant Simulator)

  • 김종현;김성호;조창호
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1999년도 추계학술대회 논문집 학회본부 B
    • /
    • pp.546-548
    • /
    • 1999
  • 화력발전소 운전원 훈련용 시뮬레이터 개발시 제어 시스템을 구성하는 제어로직과 MMI(Man Machine Interface) 화면등의 모델 개발을 위해서는 많은 인력과 시간이 수반되는 일이지만 일일히 코딩을 하여만 실제 제어기능 및 화면기능을 구현할 수 있다. 하동화력발전소 운전원 훈련용 시뮬레이터에서는 제어시스템 개발의 생산성과 신뢰도를 향상시키기 위해 분산제어시스템 제어로직변환기를 개발하여 실제 발전소에서 사용중인 제어 로직파일을 제어 모델로 변환하여 시뮬레이터에 적용하는 방법을 이용하였다. 본 논문에서는 하동화력발전소의 분산제어시스템인 Simens Teleperm-ME에 적합한 제어 로직 변환기의 개발에 관하여 설명한다. 변환기를 통한 제어시스템의 모델링 방법은 첨단 제어 시스템의 기존 기능을 그대로 유지할 수가 있게 되어 제어기술자의 훈련 및 제어로직 개발 그리고 분석이 가능하며. 이를 통하여 운전원 훈련효과를 제고할 수 있고 실제 제어시스템과 완벽한 호환성을 유지함으로써 시뮬레이터의 정확성을 보증할 수 있게 된다.

  • PDF

GlusterFS 분산 파일 시스템 모니터링 설계 (Monitoring Design for Distributed File System GlusterFS)

  • 이정현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.174-177
    • /
    • 2015
  • 최근 Social, Mobile, IoT 등에 기반한 비즈니스 데이터의 폭증과 함께 이를 저장하고 처리하기 위한 Big Data 플랫폼, 분산 스토리지 기술 등이 사용되고 있다. 최근 제안된 분산 스토리지들은 클라우드 기반 기술과 Scale-Out 아키텍처를 적용하여 데이터의 증가에 대응할 수 있는 구조를 갖추고 있다. 분산 스토리지의 노드가 수백 대 이상으로 증가하는 경우 수작업을 통한 관리방법으로는 운영관리는 불가능하며 자동화된 운영관리와 모니터링 방법이 필요하다. 본 논문에서는 GlusterFS 분산 스토리지를 대상으로 네트워크, 서버, 디스크, 스토리지 서비스 등 시스템 상태를 구간별로 모니터링할 수 있도록 설계하였다. 이를 통해 분산 스토리지 전체 인프라에 대한 모니터링과 스토리지 서비스 수준을 모니터링 할 수 있도록 하였다.