• 제목/요약/키워드: 데이터 확장

검색결과 3,598건 처리시간 0.037초

비공유 데이터베이스 클러스터에서 온-라인 확장을 위한 데이터 분할 기법의 분석 및 평가 (Analysis and Evaluation of Data Partitioning Methods or On-line Scaling in a Shared Nothing Database Cluster)

  • 장용일;이충호;이재동;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1859-1862
    • /
    • 2002
  • 비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

  • PDF

확장 관계형 DBMS

  • 한국데이터베이스진흥센터
    • 디지털콘텐츠
    • /
    • 3호통권58호
    • /
    • pp.24-31
    • /
    • 1998
  • 객체/관계형 데이터베이스 시장이 전개되면서 객체 데이터가 기존 관계형 데이터에 새로운 데이터를 추가할 수 있는 복합 데이터 지원 여부에 관심이 모아지고 있다. 주요 데이터베이스 업체인 인포믹스, IBM, 오라클은 각각 데이터블레이드, 릴레이셔널 익스텐더, 카트리지란 확장 가능한 데이터 타입을 구성할 수 있는 도구를 제시, 기존 BLOB를 대체할 수 있는 확장관계형 데이터베이스 시장에 도전장을 냈다.

  • PDF

고확장성 블록체인 저장 기술 설계 (Design of Scalable Blockchain Storage Technology)

  • 김창수;이명철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.316-319
    • /
    • 2021
  • 블록체인은 블록체인 네트워크에 참여하는 모든 노드에 동일한 원장을 중복 저장함으로써 참여자 모두에게 데이터가 공개되며, 이를 통해 데이터의 투명성을 확보하고 참여자 다수의 합의를 통해 데이터의 신뢰성을 보장하는 기술이다. 현재의 블록체인 시스템은 이러한 데이터 소유의 탈중앙화를 통해 데이터의 신뢰성을 확보할 수 있게 되었으나, 합의, 저장, 분석 등 여러 방면에서 확장성 한계로 인해 주로 가상 자산의 거래에만 활용되고 있다. 본 논문은 다양한 일반 산업 및 비즈니스에서의 블록체인 기술의 활용성을 증대하기 위해 요구되는 데이터의 다양성, 대규모 용량, 대용량 데이터, 트랜잭션 처리 속도 등 저장 확장성 문제를 해결하기 위한 고확장성 블록체인 저장 기술을 제안하고 설계 개념 및 특징, 그리고 고확장성 저장 기술을 제공하기 위한 시스템 SW 구조를 제시한다.

구조화 된 데이터 기반의 웹 온톨로지 학습 및 확장 모델 설계 (A Design of Web Ontology Learning and Population Model based on Structured Data)

  • 정혜진;정동원
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
    • /
    • pp.329-332
    • /
    • 2009
  • 이 논문에서는 보다 풍부하고 정확한 정보를 제공하기 위한 구조화 된 데이터를 이용한 웹 온톨로지 확장(Population) 모델을 제안한다. 시맨틱 웹이 등장하면서 웹 온톨로지의 구축이 필수 요소가 되었으며, 더욱 정확하고 보다 풍부한 정보를 제공하기 위한 웹 온톨로지 생성 모텔에 관한 연구의 필요성이 증가하였다. 이러한 요구 사항을 충족시키기 위해서는 첫 번째로, 일관성 있고 보편적인 개념을 이용한 웹 온톨로지 스키마 생성과 이를 기반으로 한 온톨로지 간 상호운용성 향상이 요구된다. 두 번째로, 보다 풍부한 정보 제공을 위해 정의된 온톨로지를 확장할 수 있는 방법 개발이 요구된다. 이 논문에서는 메타데이터 레지스트리 (MDR, Metadata Registry)를 이용하여 생성된 구조화 된 데이터 기반의 온톨로지 학습 및 확장 모델을 제안한다. 된 데이터에 대한 개념과 이를 기반으로 한 학습 및 확장의 특징 등에 대하여 기술하고 제안 모델을 위한 시스템 구조에 대하여 기술한다.

  • PDF

클러스터링 데이터베이스에서 온라인 확장을 고려한 $CSB^+$ 트리 색인의 온라인 재구성 기법 (Online Scaling Consious Online Reorganization of $CSB^+$ tree Index in a Database Cluster)

  • 심태정;이충호;이순조;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.196-198
    • /
    • 2002
  • 클러스터링 데이터베이스는 높은 가용성과 확장성을 갖으며, 예상치 못한 클라이언트 질의의 증가나 질의 패턴의 변경에 따른 작업부하의 편중에 효율적으로 대처할 수 있는 구조이다. 특히 온라인 확장 기법은 트랜잭션 처리를 중지하지 않고 새로운 노드를 클러스터에 추가하여 데이터를 재구성함으로써 임의의 노드에 질의가 집중되는 문제를 해결할 수 있다. 정적으로 구성된 시스템만으로는 두 대 이상의 서버에 작업량이 집중될 경우 재배치 시 서버 간의 데이터 이동의 반복 현상이 발생되며. 이로 인해 네트웍의 부하와 함께 실시간 트랜적션의 처리에 있어서 응답 시간이 지연되는 문제점이 발생한다. 따라서 본 논문에서는 데이터 이동의 반복 현상을 해결하기 위해 클러스터링 데이터베이스에서 온라인 확장을 고려한 CSB+ 트리 색인의 온라인 재구성 기법을 제안한다. 제안된 기법은 온라인 확장을 통한 동구 노드의 확장으로 데이터 이동의 반복을 막고 새롭게 추가된 노드를 통해 빠르고 효율적인 데이터의 분산을 수행한다 또한 각 시스템의 내부를 CS$B^{+}$ 트리로 구성하여 데이터의 재주성시에도 실시간 트랜잭션에 대한 빠른 응답 시간을 보장한다.

  • PDF

서버 처리 비용 분산을 위해 확장된 Peer-to-peer 방식을 사용한 공간데이터 관리기 (The spatial data manager using extended peer-to-peer computing method for balancing the cost of server side)

  • 김호석;강동재;정보홍;김재홍;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.28-30
    • /
    • 2001
  • 클라이언트-서버 환경에서 공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터 처리 시 발생하는 서버 I/O 연산의 수행 비용과 질의 처리비용 및 결과 데이터의 전송 비용이 서버 사이드의 병목 현상과 질의 처리속도의 저하라는 문제점을 유발한다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 서버 처리비용의 분산을 위한 확장된 Peer-to-peer를 지원하는 방식을 제안하며, 이러한 확장 된 Peer-to-peer방식을 지원할 수 있는 공간데이터 관리기의 설계 및 구현상황을 제안한다. 공간데이터 관리기는 서버에 접속된 클라이언트의 정보와 클라이언트에 캐쉬된 데이터의 정보를 관리하는 공간데이터 관리기의 CIT(Client Information Table)와 이 CIT에 가용한 데이트를 캐쉬한 클라이언트가 여럿인 경웨 대상 클라이언트의 선정이 요구되며, 적은 비용으로 처리 가능한 클라인트의 선정의 위한 알고리즘과 클라이언트 사이의 확장된 Peer-to-peer 방식을 지원하기 위한 서버와 클라이언트간의 데이터 일관성 유지를 위한 데이터 유효성 관리를 제안한다.

  • PDF

CBIR 기반 데이터 확장을 이용한 딥 러닝 기술 (CBIR-based Data Augmentation and Its Application to Deep Learning)

  • 김세송;정승원
    • 방송공학회논문지
    • /
    • 제23권3호
    • /
    • pp.403-408
    • /
    • 2018
  • 딥 러닝의 학습을 위해서 일반적으로 많은 양의 데이터가 필요하다. 그러나 많은 양의 데이터 세트를 만드는 것은 쉽지 않기 때문에, 회전, 반전 (flipping), 필터링 (filtering) 등의 간단한 데이터 확장 (data augmentation) 기법을 통해 작은 데이터 세트를 좀 더 큰 데이터 세트로 만드는 여러 시도들이 있었다. 그러나 이러한 기법들은 이미 보유하고 있는 데이터 세트만을 이용하기 때문에 확장성에 제약을 갖는다. 이런 문제를 해결하기 위해 본고에서는 보유하고 있는 영상 데이터를 이용하여 새로운 영상 데이터를 획득하는 기술을 제안한다. 이는 기존 데이터 세트의 영상 데이터를 CBIR(Contents based image retrieval)의 쿼리로 이용하여 유사 영상들을 검색하여 획득하는 방식으로 이루어진다. 최종적으로 CBIR을 이용해 확장한 데이터를 딥 러닝으로 학습시켜 확장 전후의 성능을 비교하였다.

데이터웨어하우스 성능 모니터링을 위한 DBMax의 확장 (An Extension of DBMax, Oracle Performance Monitoring Tool, for Data Warehouses)

  • 김은주;용환승;이상원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.262-264
    • /
    • 2002
  • 데이터웨어하우스는 대용량의 데이터를 대상으로 복잡한 분석을 수행하거나 전략적 의사 결정을 위해 사용되기 때문에 신속한 질의 응답을 위한 성능 관리가 무엇보다 중요하다. 데이터웨어하우스는 일반 운영계 시스템과는 다른 목적과 특성을 가지기 때문에 그에 적합한 성능 모니터링 방법이 필요하다. 본 연구에서는 오라클 데이터베이스를 위한 OLTP(On-Line Transaction Processing)용 국산 성능 모니터링 도구인 DBMax를 데이터웨어하우스 환경에 적용할 수 있도록 기능을 확장한다. 우선 기존의 운영계 시스템과는 구분되는 데이터웨어하우스의 특성을 토대로 오라클9i에서 제공하고 있는 성능 항상 기법인 실체화된 뷰(MV: Materialized View)와 EH(Data Extraction, Transformation and Loading) 화장 기능을 모니터링하기 위한 요구사항을 분석하고 이를 지원하기 위한 DBMax 확장 방안을 설계 및 구현한다. 실체화된 뷰와 ETL 확장 기능을 위해 제공되는 오라클9i의 다양한 스키마 객체에 대한 정보 및 성능 관련 지표를 제시하여 SQL 튜닝 기능을 지원하며 사후 분석을 위한 DBMax의 로그 파일에서 의미 있는 SQL문을 추출하여 잠재적으로 유용한 실체화된 뷰를 권고할 수 있도록 기능을 확장한다.

  • PDF

XML 포함질의를 위한 확장형 인덱스 (An Extensible Index for XML Containment Queries)

  • 이상원
    • 정보처리학회논문지D
    • /
    • 제11D권2호
    • /
    • pp.317-324
    • /
    • 2004
  • XML 문서에 대한 포함질의는 XML의 핵심 질의 중의 하나이다. 따라서, XML 데이터를 지원하는 DBMS에서 이런 유형의 질의를 효과적으로 처리하는 것은 매우 중요한 문제이다. 최근 들어, 객체관계형 DBMS에 XML 데이터를 저장하려는 많은 노력들이 시도되고 있다. 본 논문에서는 객체관계형 DBMS에 BLOB 형태로 저장된 XML 데이터를 대상으로 포함질의를 효과적으로 처리하기 위한 확장형 인덱스를 제시한다. 즉, 객체관계형 DBMS의 확장성을 이용해서 포함질의 처리를 위한 효과적으로 처리하는 확장형 인덱스의 구현과 이 인덱스의 사용 방법을 기술한다.

확장성 있는 HDTV용 병렬 서버 설계 (A Design of a Scalable Parallel Server for HDTV)

  • 노영욱;정기동
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1995년도 학술대회
    • /
    • pp.35-39
    • /
    • 1995
  • 멀티미디어 데이터는 크기가 크고 실시간성의 특징을 가지고 있다. 특히 HDTV 서버는 많은 수의 비디오를 저장하기 위해서 대용량의 저장 능력이 필요하며 동시에 많은 수의 사용자를 지워하기 위해서 높은 전송율을 보장하여야 한다. 따라서 HDTV 서버는 확장성 있는 하드웨어 구조를 가져야 하고 데이터를 효과적으로 저장 관리할 수 있는 소프트웨어가 지원되어야 한다. 본 논문에서는 HDTV의 비디오 데이터를 저장 관리하기 위한 확장성 있는 HDTV 저장 서버 구조, 고성능 입출력시스템에서 기본적으로 사용하는 데이터 분할 방법, 데이터 배치 방법, 캐싱 정책, admission control 방법과 성능 분석에 대한 내용을 기술한다.