• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
• /
• pp.1417-1420
• /
• 2005

고속 네트워크로 연결된 대형 병렬 컴퓨터 및 클러스터 시스템의 사용이 증가되면서, 대용량 스토리지의 효율적인 활용을 위한 분산 및 병렬 파일 시스템에 대한 관심이 증가하고 있다. 특히 다수의 컴퓨터에 장착된 디스크 또는 스토리지를 네트워크로 연결하여 하나의 논리적이 파일 시스템으로 구성하는 분산 및 병렬 파일 시스템은 유휴 자원의 활용, bandwidth 및 throughput의 증대라는 장점으로 많은 연구가 진행 중이다. 본 논문에서는 대표적인 분산 및 병렬 파일 시스템을 대상으로 소규모 클러스터 시스템에서 성능 및 특징을 비교, 분석하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권9호
• /
• pp.3539-3558
• /
• 2015

This paper investigates and analyzes the default block placement strategy of HDFS. HDFS is a typical representative distributed file system to stream vast amount of data effectively at high bandwidth to user applications. However, the default HDFS block placement policy assumes that all nodes in the cluster are homogeneous, and places blocks with a simple RoundRobin strategy without considering any nodes' resource characteristics, which decreases self-adaptability of the system. The primary contribution of this paper is the proposition of a network load sensitive block placement strategy. We have implemented our algorithm and justify it through extensive simulations and comparison with similar existing studies. The results indicate that our work not only performs much better in the data distribution but also improves write performance more significantly than the others.

• 전자통신동향분석
• /
• 제24권4호
• /
• pp.55-68
• /
• 2009

최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 살펴보면 이미 보유하고 있는 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 고에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 분산 파일 시스템들을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 살펴보고자 한다.

• 한국통신학회논문지
• /
• 제16권10호
• /
• pp.901-913
• /
• 1991

텍스트 데이터 중심의 컴퓨터 통신의 활성화와 멀티 미디어의 등장에 따른 영상 데이터의 추급은 대용량의 기억공간과 전송시간을 요구하게 되어 데이터 압축의 중요성이 더욱 크게 되었다. 정보원의 사전 지식을 전체로 하지 않고도 효율적인 압축을 달성하는 유니버샬 부호는 동일 알고리즘으로 다양한 데이터에 적용할수 있는 만능성을 갖는 적응성이 뛰어난 방식으로 최근 주목되고 있다. 이 논문에서는 유니버샬 부호의 기본원리와 분류를 통한 실현 알고\ulcorner\ulcorner\ulcorner六\ulcorner대하여 알아보고 그 응용을 중심으로 한 최근의 연구활동에 관하여 기술한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.111-112
• /
• 2009

최근 IT 분야의 키워드 중 하나인 클라우드 컴퓨팅에서, 분산 파일 시스템의 선택은 대용량의 데이터를 관리하기 위해 매우 중요하다. 오픈소스 분산 파일 시스템 중 하나인 HDFS는 데이터의 효율적인 저장과 검색의 장점을 통해 최근 널리 사용되고 있다. HDFS는 데이터를 3단계 중복저장을 통해 신뢰성을 보장한다. 그러나 이러한 중복저장은 데이터 저장의 효율성 저하의 문제점을 갖고 있다. 따라서 본 논문에서는 MD5 해쉬 기술을 적용한 중복 데이터 제거 기법을 제안한다. 본 기법은 시뮬레이션을 통해 저장 공간의 효율성을 향상의 결과를 확인하였다.

• International Journal of Contents
• /
• 제10권1호
• /
• pp.62-67
• /
• 2014

Usually, cloud storage systems are developed based on DFS (Distributed File System) for scalability and reliability reasons. DFSs are designed to improve throughput than IO response time, and therefore, they are appropriate for batch processing jobs. Recently, cloud storage systems have been used for update intensive applications such as OLTP and so on. However, in DFSs, in-place update operations are not carefully considered. Therefore, when updates are frequent, I/O performance of DFSs are degraded significantly. DFSs with RAID techniques have been proposed to improve their performance and reliability. Their performance degradation caused by frequent update operations can be more significant. In this paper, we propose an in-place update method for DFS RAID exploiting a differential logging technique. The proposed method reduces the I/O costs, network traffic and XOR operation costs for RAID. We demonstrate the efficiency of our proposed in-place update method through various experiments.

• 정보처리학회논문지A
• /
• 제10A권5호
• /
• pp.559-570
• /
• 2003

본 논문에서는 웹기반 강의 컨텐츠의 문제점을 알아보고 그 문제점을 해결할 수 있는 방법을 제안한다. 다시 말해서, 기존의 웹기반 강의 컨텐츠는 HTML 포멧 기반 코스웨어의 고정되고 획일적인 하나의 큰 파일이거나 미디어 제공 벤더에 종속된 저작도구로 작성된 파일이다. 이러한 강의 컨텐츠는 서로 다른 가상 교육 시스템에서 공유하거나 재사용하기가 어렵고, 학습자의 학습 활동 변경에 따른 적시 적격의 강의 컨텐츠 변경이 어렵다. 따라서 본 논문에서는 분산 컴퓨팅 환경에서 교수 설계자와 다양한 가상 교육 시스템들이 강의 컨텐츠를 공유할 수 있고 재사용할 수 있도록 강의 컨텐츠를 속성을 가진 더 작은 크기로 분해하여 객체화하는 방법을 제시한다. 특히 교수법적인 설계를 근거로 강의 컨텐츠의 재사용 단위를 지도 항목, 테스트, 케이스 예제, 토론, 문제 , 티스커버리, 리소스, 시뮬레이션으로 추정하였다. 이것은 개요, 사실, 해보기, 퀴즈, 평가, 탐구 학습, 토론의 구성 요소로 설정하고 이를 CBD 방법으로 구현하였다. 이것은 웹기반 컨텐츠 시스템의 문제점을 해결할 뿐만 아니라 가상 교육 시스템을 이용하는 교수 설계자와 학습자의 컨텐츠 이해도를 높였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권10호
• /
• pp.734-745
• /
• 2006

본 논문에서는 VIA(Virtual Interface Architecture) 통신 프로토콜과 인터벌 캐쉬 기법을 적용하여 서버 내부 통신망의 부하를 감소시킨 PC 클러스터 기반 분산 VOD 서버를 제안한다. 분산 VOD 서버의 각 노드는 클러스터상에 분산 저장된 비디오 데이타를 서버 내부 통신망을 사용하여 전송받아 사용자에게 제공한다. 이 때, 대량의 비디오 데이타가 서버 내부 통신망을 통하여 전송됨으로 서버 내부 통신망에 부하가 증가한다. 본 논문에서는 TCP/IP의 통신 오버헤드를 제거한 사용자 수준 통신 프로토콜인 VIA에 기반한 분산 VOD 파일 시스템을 개발함으로써, 원격 디스크를 접근하는데 소요되는 내부 통신망 비용을 최소화하려고 하였다. 또한, VIA의 최대 전송 크기를 VOD 시스템에 맞게 확장함으로써 내부 통신망의 성능을 향상시키려고 하였다. 추가로 본 논문은 인터벌 캐쉬 기법을 적용하여 원격 서버 노드에서 전송 받은 비디오 데이타를 지역 노드의 메인 메모리에 캐쉬함으로써, 서버 내부 통신망에 발생하는 통신량을 감소시켰다. 실험을 통하여 분산 VOD 서버의 성능을 측정하였으며, TCP/IP에 기반하고 인터벌 캐쉬를 지원하지 않는 기존의 분산 VOD 서버와 성능을 비교하였다. 실험결과, VIA 적용으로 약 11.3%의 성능 향상, 그리고 인터벌 캐쉬 기법을 적용하여 추가로 약 10%의 성능 향상이 생겨 총 21.3%의 성능 향상을 얻을 수 있었다.

• 한국전자통신학회논문지
• /
• 제16권5호
• /
• pp.851-858
• /
• 2021

재생에너지 및 분산자원의 증가로 에너지신산업에서는 전통적인 데이터뿐만 아니라 다양한 에너지 관련 데이터들이 생성되고 있다. 즉 다양한 재생에너지 설비와 발전 데이터, 계통 운영 데이터, 계량 및 요금 관련 데이터뿐만 아니라 새로운 서비스와 분석을 위해 필요한 기상 및 에너지 효율화 데이터 등이 있다. 에너지 빅데이터 처리 기술은 분산자원, 계통, AMI(: Advanced Metering Infrastructure)를 포함한 전력 생산·소비 인프라의 전반기에서 발생하는 데이터를 체계적으로 분석 ·진단할 수 있다. 이를 통해 ICT(: Information and Communications Technology)산업과 에너지 산업 간 융복합의 새로운 비즈니스 창출을 지원하는 기술이 될 수 있을 것이다. 이를 위해서 수집된 데이터의 항목별 특성 분석 및 연관관계 표본 추출과 각 특징들의 범주화 및 요소 정의 등 데이터 분석 시스템에 대한 연구가 필요하다. 또한 데이터의 손실 및 이상 상태 처리를 위한 데이터 정제 기술에 대한 연구가 이루어져야 한다. 그리고 에너지 데이터를 실시간으로 저장 및 관리할 수 있도록 Apache NIFI, Spark, HDFS(: Hadoop Distributed File System)에 대한 개발 및 구축이 필요하다. 본 연구에서는 위와 같은 다양한 전력거래를 위한 전반적인 에너지 데이터 처리 기술과 시스템를 제안하였다.

• 한국정보전자통신기술학회논문지
• /
• 제12권2호
• /
• pp.127-134
• /
• 2019

IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.