• Title/Summary/Keyword: 읽기 데이터베이스

Search Result 42, Processing Time 0.024 seconds

A Study of Column-oriented Storage Method on Harddisks and Flash SSDs (하드디스크와 플래시SSD상에서 열-지향 저장 모델 고찰)

  • Park, Ji-Young;Kang, Woon-Hak;Lee, Sang-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.04a
    • /
    • pp.1121-1124
    • /
    • 2012
  • 열-지향 데이터베이스 시스템인 C-Store는 많은 상용 데이터베이스 시스템과는 달리 데이터를 행(row) 위주가 아닌 열(column) 위주로 저장을 하여, 데이터 웨어하우스와 같이 주로 읽기 IO를 유발하는 환경에서 데이터의 전송량을 줄임으로써, 높은 성능을 보였다. 본 논문에서는 대표적인 열 지향 저장 DBMS인 C-Store와 행 위주의 저장구조를 사용하는 기존 DBMS와의 차이점을 알아보고, C-Store의 저장장치로 하드디스크와 차세대 저장장치로 주목받고 있는 플래시 SSD(Solid State Disk)를 사용하였을 때, 발생할 수 있는 장단점에 대해 분석하였다.

Hash Join Performance on Flash SSD in OLTP Environment (OLTP 환경에서의 플래시 SSD 기반 해시 조인 성능에 대한 고찰)

  • Koo, Dong-Hyun;Sim, Jun-Hyeon;Kim, Kang-Nyeon;Lee, Sang-Won
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.04a
    • /
    • pp.1291-1293
    • /
    • 2011
  • OLTP(online transaction processing) 환경은 다수의 사용자의 질의 및 요청을 처리하기 위한 데이터베이스 환경으로서 신속하고 정확한 질의 처리가 요구된다. 조인 연산은 이러한 데이터베이스 관리 시스템에서 자주 처리하게 되는 질의 가운데 하나이며, 그 중에서도 해시 조인은 현재 가장 좋은 성능을 보인다고 알려진 조인 알고리즘이다. 이 논문에서는 직접 해시 조인을 구현하여 읽기 및 쓰기 버퍼의 크기가 제한되었을 때 SSD와 하드디스크에서 해시 조인의 성능을 비교하고, 나아가 다수의 사용자가 동시에 여러 개의 조인 연산을 요청했을 때의 상황을 시뮬레이션 하여 SSD에서의 최적화 방안을 생각해본다.

Design of A IoT Platform Based on CQRS Pattern to Accommodate Various Requirements and Improve Data Query Performance (다양한 요구사항 수용 및 데이터 조회 성능 향상을 위한 CQRS 패턴 기반의 사물인터넷 플랫폼 설계)

  • Jeon, Cheol-Ho;Jeon, Hyeon-Sig;Park, Hyun-Ju
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.11
    • /
    • pp.1539-1545
    • /
    • 2020
  • With the advent of the ubiquitous era due to the development of science and technology in the modern society, interest in data generated in the IoT environment has increased socially. However, the existing IoT platform has difficulties in processing inquiry requests that require large amounts of throughput, such as statistical processing of large amounts of data. Accordingly, in this paper, we propose an IoT platform that can flexibly accommodate requirements for inquiry requests and improve inquiry performance. The platform proposed in this paper showed a performance improvement of about 1200 times in terms of average response time by introducing a separate read database. By separating the object model into a command side and a query side, the complexity of the object is reduced to meet the various demands on the platform. It was made to allow quick acceptance of the matter.

Request Two-Phase Locking Method for Series Sequence Re-adjustment of Concurrency Control in Multi-Level Secure DBMS (다단계 보안 데이터베이스 시스템에서 병행수행 제어의 직렬화 순서를 재조정하기 위한 요청 2단계 로킹기법)

  • Lee, Seungsoo;Cho, Jinsung;Jeong, Byungsoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.105-108
    • /
    • 2004
  • 다단계 보안데이터베이스 시스템에서 기본적인 병행수행 제어 기법들은 비밀채널과 교착상태등과 같은 문제들이 발생하였다. 이에 직렬화 순서를 동적으로 재조정함으로서 해결하려는 방안이 있었지만, 알고리즘의 복잡성으로 인해 오버 헤드와 많은 수행시간이 필요하게 되었고, 이에 따라 많은 양의 시스템 자원과 높은 사양의 시스템을 요구하게 되었다. 또한 이러한 방법은 다중 버전을 사용함으로서 추가적인 관리비용이 높게 되었고, 각각의 트랜잭션이 지연 및 재수행이란 불필요한 과정을 반복하게 되었다. 따라서 본 논문에서는 제안한 알고리즘은 데이터베이스의 용도에 맞게 직렬화 순서를 보장하여 스케줄을 관리하는 요청 2단계 로킹기법(Request Two-phase Locking)으로서 이는 2단계 로킹기법의 기본원리에 요청로크를 사용함으로 보다 효율적으로 병행제어를 할 수 있다. 여기서 요청로크는 각각의 트랜잭션 스케줄에 로크획득 및 해제를 병행수행제어의 필요에 따라 유동적으로 할 수 있으며, 읽기로크, 쓰기로크, 요청로크라는 3가지 로킹모드를 통해 대처방안을 마련함으로서, 충돌을 방지하며, 충돌연산의 특성에 따라 직렬화 순서를 동적으로 조정함으로 블록킹을 막는 병행제어를 응용하여 병렬성을 유지한다.

  • PDF

A Concurrency Control Scheme for Client Transaction in Dual-Channel Broadcast Disk Environments (이중 채널 기반 방송 디스크 환경에서 읽기 전용 트랜잭션을 위한 동시성 제어 기법)

  • Lee, Sangho;Kim, Jinhong;Lee, Sooin
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2013.06a
    • /
    • pp.97-100
    • /
    • 2013
  • 최근 4세대(4G) 통신망으로의 전환의 가속화와 스마트 모바일 기기의 확산으로 인하여 무선 통신망에서 데이터 트래픽이 급증하고 있다. 이러한 급증하는 데이터 트래픽을 분산시키기 위하여 2개의 주파수 밴드를 사용하는 멀티 캐리어 기술이 선보이고 있다. 방송 디스크는 서버가 데이터베이스에 저장된 모든 데이터를 연속적으로 다수의 모바일 클라이언트에게 방송하고, 클라이언트는 방송 채널을 감시하여 원하는 데이터가 방송될 경우 방송 채널로부터 데이터를 수신하는 통신 구조이다. 이런 관점에서 방송 채널은 클라이언트가 데이터를 액세스할 수 있는 디스크의 역할을 담당한다. 본 논문에서는 무선 통신망이 멀티 캐리어를 지원할 경우, 클라이언트에서 실행되는 읽기 전용 트랜잭션의 정확성을 보장하기 위한 동시성 제어 기법(Dual-Channel based Concurrency Control: DCC)을 제안한다. 기존에 동시성 제어 기법들은 단일 방송채널에서 트랜잭션의 철회률을 줄이기 위하여 추가적인 제어 정보들을 방송하거나 방송 데이터의 타임스탬프 필드를 이용하고 있다. 클라이언트에서 실행되는 트랜잭션은 단일 방송 사이클이 아니라 여러 방송 사이클에 걸쳐서 실행된다. 이러한 방송 디스크 환경의 특징은 클라이언트 트랜잭션이 디스크에서 방송 인덱스를 판독하여 방송 프로그램 상에서 트랜잭션에 필요한 데이터가 방송 될 때까지 기다리게 된다. 이와는 달리 DCC는 주력 망과 보조 망에서 방송되는 방송 프로그램의 순서를 서로 다르게 하여 데이터 판독에 필요한 대기 시간을 줄일 수 있다. 보조망의 방송 프로그램의 순서는 주력망의 방송 프로그램 순서의 역순서로 방송함으로써 보조 망 또는 주력 망에서 실행되고 있는 트랜잭션이 다른 방송 채널의 방송 인덱스를 판독하지 않아도 방송 프로그램 순서를 예측할 수가 있다. 그 결과, DCC는 방송 디스크의 데이터 판독에 요구되는 대기시간을 줄여 읽기 전용 트랜잭션의 철회률을 줄일 수 있다는 장점을 갖는다.

  • PDF

Performance Evaluation and Optimization of NoSQL Databases with High-Performance Flash SSDs (고성능 플래시 SSD 환경에서 NoSQL 데이터베이스의 성능 평가 및 최적화)

  • Han, Hyuck
    • The Journal of the Korea Contents Association
    • /
    • v.17 no.7
    • /
    • pp.93-100
    • /
    • 2017
  • Recently, demands for high-performance flash-based storage devices (i.e., flash SSD) have rapidly grown in social network services, cloud computing, super-computing, and enterprise storage systems. The industry and academic communities made the NVMe specification for high-performance storage devices, and NVMe-based flash SSDs can be now obtained in the market. In this article, we evaluate performance of NoSQL databases that social network services and cloud computing services heavily adopt by using NVMe-based flash SSDs. To this end, we use NVMe SSD that Samsung Electronics recently developed, and the SSD used in this study has performance up to 3.5GB/s for sequential read/write operations. We use WiredTiger for NoSQL databases, and it is a default storage engine for MongoDB. Our experimental results show that log processing in NoSQL databases is a major overhead when high-performance NVMe-based flash SSDs are used. Furthermore, we optimize components of log processing and optimized WiredTiger show up to 15 times better performance than original WiredTiger.

Performance Comparison of Column-Oriented and Row-Oriented Database Systems for Star Schema Join Processing (스타 스키마 조인 처리에 대한 세로-지향 데이터베이스 시스템과 가로-지향 데이터베이스 시스템의 성능 비교)

  • Oh, Byung-Jung;Ahn, Soo-Min;Kim, Kyung-Chang
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.8
    • /
    • pp.29-38
    • /
    • 2011
  • Unlike in traditional row-oriented database systems, a column-oriented database system stores data in column-oriented and not row-oriented order. Recently, research results revealed the effectiveness of column-oriented databases for applications such as data warehouse and decision support systems that access large volumes of data in a read only manner. In this paper, we investigate the join strategies for column-oriented databases and prove the effectiveness of column-oriented databases in data warehouse systems. For unbiased comparison, the two database systems are analyzed using the star schema benchmark and the performance analysis of a star schema join query is carried out. We experimented with well-known join algorithms and considered early materialization and late materialization join strategies for column-oriented databases. The performance results confirm that star schema join queries perform better in terms of disk I/O cost in column-oriented databases than in row-oriented databases. In addition, the late materialization strategy showed more performance gain than the early materialization strategy in column-oriented databases.

An Efficient Logging Scheme based on Dynamic Block Allocation for Flash Memory-based DBMS (플래시 메모리 기반의 DBMS를 위한 동적 블록 할당에 기반한 효율적인 로깅 방법)

  • Ha, Ji-Hoon;Lee, Ki-Yong;Kim, Myoung-Ho
    • Journal of KIISE:Databases
    • /
    • v.36 no.5
    • /
    • pp.374-385
    • /
    • 2009
  • Flash memory becomes increasingly popular as data storage for various devices because of its versatile features such as non-volatility, light weight, low power consumption, and shock resistance. Flash memory, however, has some distinct characteristics that make today's disk-based database technology unsuitable, such as no in-place update and the asymmetric speed of read and write operations. As a result, most traditional disk-based database systems may not provide the best attainable performance on flash memory. To maximize the database performance on flash memory, some approaches have been proposed where only the changes made to the database, i.e., logs, are written to another empty place that has born erased in advance. In this paper, we propose an efficient log management scheme for flash-based database systems. Unlike the previous approaches, the proposed approach stores logs in specially allocated blocks, called log blocks. By evenly distributing logs across log blocks, the proposed approach can significantly reduce the number of write and erase operations. Our performance evaluation shows that the proposed approaches can improve the overall system performance by reducing the number of write and erase operation compared to the previous ones.

Asymmetric Index Management Scheme for High-capacity Compressed Databases (대용량 압축 데이터베이스를 위한 비대칭 색인 관리 기법)

  • Byun, Si-Woo;Jang, Seok-Woo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.17 no.7
    • /
    • pp.293-300
    • /
    • 2016
  • Traditional databases exploit a record-based model, where the attributes of a record are placed contiguously in a slow hard disk to achieve high performance. On the other hand, for read-intensive data analysis systems, the column-based compressed database has become a proper model because of its superior read performance. Currently, flash memory SSD is largely recognized as the preferred storage media for high-speed analysis systems. This paper introduces a compressed column-storage model and proposes a new index and its data management scheme for a high-capacity data warehouse system. The proposed index management scheme is based on the asymmetric index duplication and achieves superior search performance using the master index and compact index, particularly for large read-mostly databases. In addition, the data management scheme contributes to the read performance and high reliability by compressing the related columns and replicating them in two mirrored SSD. Based on the results of the performance evaluation under the high workload conditions, the data management scheme outperforms the traditional scheme in terms of the search throughput and response time.

Enhanced Meta Process Implementation For Growing Data Warehouse (데이터웨어하우스 성장에 따른 개선된 메타프로세스 구현)

  • Lee, Dong-Won;Moon, Seung-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.04a
    • /
    • pp.7-9
    • /
    • 2000
  • 데이터 웨어하우스는 기업의 의사 결정 과정을 향상시킬 수 있게 하는 정보기술이다. 대표적인 정의로는 '기업의 의사결정 과정을 지원하기 위한 주제 중심적이고 통합적이며 시간성을 가지는 비휘발성 자료의 집합 '이다.[1] 즉, 기업들이 보유하고 있는 분산된 대량의 데이터를 추출, 변환, 통합하여 요약된 읽기 전용의 데이터베이스로 구축함으로써, 경영분석이나 기업내의 의사 결정 지원 자료로 주로 활용된다. 데이터 웨어하우스의 경우, 일반사용자는 웨어하우스내에 저장된 데이터를 직접 이용하는 경우가 대부분이다. 따라서, 데이터의 구조와 의미에 대한 일반 사용자의 이해가 필요하게 되었다. 즉, 데이터의 추출 및 정제규칙, 데이터의 통합규칙, 요약알고리즘, 데이터 처리스케쥴 등을 알아야만 한다. 메타데이터는 최소한의 데이터 구조, 데이터의 요약에 사용된 알고리즘, 운영 데이터베이스와 데이터 웨어하우스사이의 대응관계와 같은 정보를 포함하여야 한다.[3] 여기서 변환프로세스에 대한 정보를 데이터의 형식에 대한 정보와 일반적인 데이터들과 차별화하여 메타프로세스라 한다.[5] 메타프로세스는 데이터를 변환하여 데이터 웨어하우스에 적재하는 과정에서 생성되는 메타데이터의 일부로써 데이터 웨어하우스에 통합된 자료들이 어떤 변환과정을 거쳐 생성된 자료인지를 알려주는 변환프로세스에 관한 정보를 제공한다. 본 연구에서는 대부분의 데이터 웨어하우스에서 구현되고 있는 메타데이터들은 데이터 항목의 속성정보를 위주로 한 것이며, 변환 프로세스와 관련된 데이터 관리가 미약하다. 따라서, 데이터 웨어하우스의 메타데이터 중 메타프로세스 정보의 추출 및 관리 시스템을 제안하는 것이다.

  • PDF