• Title/Summary/Keyword: 디스크 I/O

Search Result 227, Processing Time 0.027 seconds

An Efficient Data Nigration/Replication Scheme in a Large Scale Multimedia Server (대규모 멀티미디어 서버에서 효율적인 데이터 이동/중복 기법)

  • Kim, Eun-Sam
    • Journal of the Korea Society of Computer and Information
    • /
    • v.14 no.5
    • /
    • pp.37-44
    • /
    • 2009
  • Recently, as the quality of multimedia data gets higher, multimedia servers require larger storage capacity and higher I/O bandwidth. In these large scale multimedia servers, the load-unbalance problem among disks due to the difference in access frequencies to multimedia objects according to their popularities significantly affects the system performance. To address this problem, many data replication schemes have been proposed. In this paper, we propose a novel data migration/replication scheme to provide better storage efficiency and performance than the dynamic data replication scheme which is typical data replication scheme employed in multimedia servers. This scheme can reduce the additional storage space required for replication, which is a major defect of replication schemes, by decreasing the number of copies per object. The scheme can also increase the number of concurrent users by increasing the caching effect due to the reduced lengths of the intervals among requests for each object.

SSD-based RAID-6 System Architecture for Reliability and Performance Enhancement (신뢰성 향상과 성능개선을 위해 다양한 Erasure 코드를 적용한 SSD 기반 RAID-6 시스템 구조)

  • Song, Jae-Seok;Huh, Joon-Moo;Yang, Yu-Seok;Kim, Deok-Hwan
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.47 no.6
    • /
    • pp.47-56
    • /
    • 2010
  • HDD-based RAIDs have been used in high-capacity storage systems for traditional data server. However, their data reliability are relatively low and they consume lots of power since hard disk drive is weak on shock and its power consumption is high due to frequent spindle motor operation. Therefore, this paper presents new SSD based RAID system architecture using various erasure codes. The proposed methode applys Reed-Solomon, EVENODD, and Liberation coding schemes onto file system level and device driver level, respectively. Besides, it uses data allocation method to minimize the side effect of reducing the lifespan of SSD. Detail experimental results show that Liberation code increase wear-leveling rates of SSD based RAID-6 more than other codes. The SSD based RAID system applying erasure codes at the device driver level shows better performance than that at the file system level. I/O performance of RAID-6 system using SSD is 4.5%~8.5% higher than that of using HDD and the power consumption of the RAID system using SSD is 18%~40% less than that of using HDD.

An Efficient Buffer Page Replacement Strategy for System Software on Flash Memory (플래시 메모리상에서 시스템 소프트웨어의 효율적인 버퍼 페이지 교체 기법)

  • Park, Jong-Min;Park, Dong-Joo
    • Journal of KIISE:Databases
    • /
    • v.34 no.2
    • /
    • pp.133-140
    • /
    • 2007
  • Flash memory has penetrated our life in various forms. For example, flash memory is important storage component of ubiquitous computing or mobile products such as cell phone, MP3 player, PDA, and portable storage kits. Behind of the wide acceptance as memory is many advantages of flash memory: for instances, low power consumption, nonvolatile, stability and portability. In addition to mentioned strengths, the recent development of gigabyte range capacity flash memory makes a careful prediction that the flash memory might replace some of storage area dominated by hard disks. In order to have overwriting function, one block must be erased before overwriting is performed. This difference results in the cost of reading, writing and erasing in flash memory[1][5][6]. Since this difference has not been considered in traditional buffer replacement technologies adopted in system software such as OS and DBMS, a new buffer replacement strategy becomes necessary. In this paper, a new buffer replacement strategy, reflecting difference I/O cost and applicable to flash memory, suggest and compares with other buffer replacement strategies using workloads as Zipfian distribution and real data.

A Real-World Workload Generation Tool for Database System Benchmarks (데이터베이스 시스템 벤치마크를 위한 실세계 부하 생성 도구)

  • Kim Kee Wuk;Jeong Hoe Jin;Lee Sang Ho
    • The KIPS Transactions:PartD
    • /
    • v.11D no.7 s.96
    • /
    • pp.1427-1434
    • /
    • 2004
  • Database system benchmarks, which are usually evaluated to use the maximized resource in order to get the best results, arc not likely to simulate the real environment. We propose a workload generator that helps benchmarks be executed in the environment similar to a real world. The workload generator can create memory-bound, CPU-bound, and I/O-bound workloads. The workload generator allows users to create an integrated workload. which is similar to a real workload users run across in practice. Finally, we conducted the experiments that the Wisconsin benchmark was performed with the TPC-C and with the workload generation tool, and showed the feasibility of the proposed workload gen-eration tool comparing with two experimental results.

Parallel Pipelined Spatial Join Method for Efficient Query Processing In Distributed Spatial Database Systems (분산 공간 데이터베이스 시스템에서의 효율적인 질의 처리를 위한 병렬 연쇄 공간 죠인 기법)

  • Ko, Ju-Il;Lee, Hwan-Jae;Kim, Myoung-Keun;Lee, Soon-Jo;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.11-14
    • /
    • 2002
  • 분산 공간 데이터베이스 시스템에서 자주 수행되는 공간 죠인 질의는 공간 데이터의 특징인 대용량성과 복잡성으로 인하여 공간 연산 수행시 연간을 수행하는 서버의 CPU 및 디스크 I/O상의 과부하를 일으킨다. 본 논문은 이러한 분산 광간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 질의를 병렬적이며 연쇄적으로 수행하는 기법을 제안한다. 본 기법은 공간 죠인 연산의 대상이 되는 릴레이션들을 공간 연산의 특성에 따라 순서화하고, 그 중 최하위의 죠인에 참여하는 릴레이션들 중 하나를 이등분 하는 방법으로 공간 죠인 연산을 분리한 추, 질의 수행에 참여하는 두 서버에게 죠인 연산을 분배한다. 각 서버는 분할된 공간 죠인 연산을 동시에 연쇄적으로 저리하고 결과를 병합하여 최종 죠인 결과를 생성한다. 본 기법은 릴레이션을 분할하여 죠인을 수행함으로써 공간 연산에 참여하는 객체의 수를 절반으로 줄이며 R-Tree 등의 공간 인덱스 탐색 횟수와 그 범위를 감소시킨다. 또한 연쇄적인 질의 처리로 죠인의 결과인 임시 릴레이션을 생성하지 않으므로 대용량의 데이터에 대한 복잡한 질의에 대해서도 제한 없이 수행한다.

  • PDF

Parallel Accessed Mirroring based on Stripping (스트라이핑 기반의 병렬 접근 미러링 기법)

  • Kang, Dong-Jae;Kim, Chang-Soo;Shin, Bum-Joo;Kim, Hag-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.539-542
    • /
    • 2002
  • 멀티미디어와 인터넷의 대중화가 야기한 급격한 데이터의 증가는 테라(Tera)바이트 이상의 대용량 저장공간과 대용량 정보의 효율적인 공유를 지원하는 스토리지 시스템을 요구하고 있으며 이를 위하여 SAN 기반의 스토리지 클러스터링 시스템들이 많이 사용되고 있다. 이러한 환경에서 하드웨어 또는 소프트웨어 RAID(Redundant Array of Independent Disks)는 대용량 정보의 고성능의 입출력과 신뢰성을 위해서 필수적이 되었다. 범용적인 RAID로는 RAE-0, RAID-1, RAID-5가 주로 사용되고 있으며 각각의 레벨은 장단점을 갖는다. 본 논문에서는 RAID-0와 RAID-1이 갖는 문제점들의 보완을 위하여 변형된 RAID 레벨인 RAID-SM을 제안한다. RAID-SM은 기존의 RAID-1이 가지는 데이터의 가용성을 유지하면서 추가적인 비용 없이 RAID-0의 우수한 입출력 성능을 얻기 위한 RAID-1의 변형된 방식이다. RAID-SM의 구현을 위하여 디스크상의 데이터의 배치 및 데이터 맵핑 탕식을 정의하고 RAID-SM에서의 I/O방법을 기술한다. 제안하는 RAID-SM은 멀티미디어나 GIS 데이터와 같은 읽기 연산 집약적인 시스템을 대상으로 하는 안정적인 레이드 방식이며 RAID-SM의 장점 및 성능은 본 논문에서의 실험을 통한 결과로서 제시한다.

  • PDF

The study of integration techniques for storing XML documents efficiently based on structures and semantics (구조 및 의미적 유사성에 기반한 XML 문서들의 효율적인 저장을 위한 통합 기법)

  • 김연희;김병곤;이재호;임해철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.590-592
    • /
    • 2003
  • 최근 XML이 웹 상의 데이터의 표현, 교환, 중재의 표준으로 각광받으면서 이러한 XML 문서를 효과적으로 저장, 접근 및 검색하기 위한 기법에 대한 연구가 많았으나, 기존의 연구들은 하나의 XML 문서를 저장 및 검색의 대상으로 하는 경우가 대부분이였다. 그러나 XML 문서를 데이터의 표현과 교환의 표준으로 이용하는 애플리케이션의 개발이 점차 활성화됨에 따라 저장해야하는 XML 문서의 수가 크게 증가하면서 의미나 구조적으로 많은 유사성을 지니는 XML 문서들을 함께 효율적으로 저장하고 검색하기 위한 기법의 연구가 요구된다. 따라서 본 논문에서는 의미 및 구조적으로 유사성을 가지는 여러 XML 문서들을 통합하는 기법을 제안한다. 제안된 통합 기법은 같은 DTD나 XML Schema를 가지는 경우와 다른 DTD나 XML Schema를 가지는 경우를 모두 고려한다. 또한 특별한 구조적 정보를 가지지 않는 XML 문서의 경우도 다른 DTD나 XML Schema를 가지는 경우와 마찬가지로 처리함으로써 다양한 XML 문서들에 대한 통합이 가능하도록 한다. 이러한 통합 기법은 중복되는 엘리먼트나 애트리뷰트에 대한 저장 공간의 낭비를 최소화한다. 또한 의미적으로 또는 구조적으로 관련성있는 여러 XML 문서의 부분들을 디스크 상의 페이지내에 서로 가까이 저장할 수 있기 때문에 사용자의 일반적인 질의에 대해 효율적이고 빠른 검색 결과를 유도할 수 있고, I/O 횟수를 줄임으로써 그에 따른 오버헤드를 줄일 수 있는 장점이 있다.

  • PDF

Enhancing Write Performance in Cooperative Cache using Extensible 2-Phase Protocol (확장 가능한 두 단계 프로토콜을 이용한 상호 협력 캐쉬의 쓰기 성능 향상)

  • Hwang In-Chul;Maeng Seung-Ryoul;Cho Jung-Wan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.37-39
    • /
    • 2005
  • 요즘 네트웍과 PC의 성능이 향상됨에 따라 값싼 PC를 빠른 네트웍으로 묶어 높은 성능을 얻고자 하는 클러스터 시스템에 대하여 많이 연구 되어 왔다. 이러한 연구의 한 분야로서 클러스터 I/O 하위 시스템의 성능을 향상시키고자 하는 상호 협력 캐쉬가 제시되었다. 기존 상호 협력 캐쉬에 대한 연구는 주로 효율적인 캐쉬 공유 기법에만 집중되어있고 쓰기 성능에 대한 고려는 하지 않고 있다. 또한 대부분의 읽기 데이터는 상호 협력 캐쉬를 통하여 처리되지만 쓰기 데이터는 디스크에 접근하기 때문에 쓰기가 병목현상이 될 수 있다. 따라서 상호 협력 캐쉬에서 읽기 뿐 아니라 쓰기 성능 향상 기법에 대한 연구가 필요하다. 본 논문에서는 상호 협력 캐쉬에서 쓰기 성능 향상 기법으로 확장 가능한 두 단계 프로토콜을 제시한다. 확장 가능한 두 단계 프로토콜은 기존 두 단계 프로토콜과 같이 파일에 읽기/쓰기 접근을 연속된 읽기/쓰기 단계로 나누고, 쓰기 단계에서 연속된 쓰기사이의 불필요한 동작을 제거할 뿐 아니라 쓴 데이터에 대한 일시적 버퍼링을 수행함으로서 쓰기 성능을 향상시킨다. 그리고 확장 가능한 두 단계 프로토콜을 상호 협력 클러스터 파일 시스템의 홈 기반 상호 협력 캐쉬에 적용하여 성능을 비교, 분석한다.

  • PDF

Join processing using Hash Index based on Ring Queue Buffer in DSMS (DSMS 에서 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법)

  • Sang-Ki Kim;Yan Li;Sung-Ha Baek;Dong-Wook Lee;Gyoung-Bae Kim;Hae-Young Bae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.389-392
    • /
    • 2008
  • 유비쿼터스 환경에서 센서 데이터는 빠르고 연속적인 데이터 스트림 형태로 전송된다. 이러한 개별적인 데이터 스트림 정보를 연관되어 처리하기 위해 조인 연산이 필요하다. LWO, SWF 와 같은 기존 기법들은 Nested Loop Join 을 이용해 데이터 스트림 환경에서 조인 알고리즘을 제시하였다. 하지만 Nested Loop Join 을 사용하기 때문에 슬라이딩 윈도우의 크기에 따라 처리 속도가 영향을 많이 받고 XJoin 은 디스크 I/O 추가 비용이 필요하다. 제안 기법은 환형 큐 버퍼 기반의 해시 색인을 이용한 조인 기법은 환형 큐를 이용하여 데이터의 삽입, 삭제를 관리하고 해시 색인을 이용해 조인 연산을 처리 하여 제안 기법은 기존의 기법 보다 조인 연산을 보다 효율적으로 처리 할 수 있다.

Extended R-Tree with Grid Filter for Efficient Filtering (효율적인 여과를 위한 그리드 필터를 갖는 R-Tree 의 확장)

  • 김재흥
    • Spatial Information Research
    • /
    • v.8 no.1
    • /
    • pp.155-170
    • /
    • 2000
  • When we use R-Tree,a spatial index, to find objects matches some predicate, it often leads to an incorrect result of perform filtering step only with MBR. And , each candidates need to be inspected to conform if it really satisfies with given query, so called, 'refinement step'. In refinement step. we should perform disk I/O and expansive spatial operations which is the cause of increasing retrieval costs. Therefore, to minimize the number of candidate after filtering step, two-phase filtering methods were studied, but there was many problems such as inefficiency of filtering,maintenance of additional informations and reconstruction of data resulted from the loss of original information. So , in this paper, I propose an Extended R-Tree which provides ability to retrieve spatial objects only with some simple logical operations using Grid Table, truth table strong the information about the existence of spatial objects, in second filtering step. Consequently , this Extended R-Tree using Grid Filter has low cost of operation for filtering because of efficient second filtering step, and better filtering efficiency caused by high quality of approximation.

  • PDF