• 제목/요약/키워드: 데이터웨어하우스

검색결과 294건 처리시간 0.026초

시퀀스 데이터웨어하우스에서 이산푸리에변환과 비트맵을 이용한 시퀀스 스트림 색인 기법 (Sequence Stream Indexing Method using DFT and Bitmap in Sequence Data Warehouse)

  • 손동원;홍동권
    • 한국지능시스템학회논문지
    • /
    • 제22권2호
    • /
    • pp.181-186
    • /
    • 2012
  • 최근 시간적으로 변화된 데이터에서 유사한 값의 움직임 즉 유사 패턴을 검색하는 연구가 활발히 진행되고 있다. 시간적으로 변화된 데이터는 시계열 데이터 (time series data) 또는 시퀀스 데이터(sequence data)로 분류되며 기존의 스칼라 값을 가지는 데이터와는 매우 다른 의미를 가진다. 본 논문에서 유사 시퀀스 검색은 시퀀스 데이터웨어하우스에서 값의 변화가 유사한 형태를 가지는 시퀀스들을 검색한다. 유사 시퀀스를 검색하기 위하여 본 논문에서는 먼저 시퀀스 원시 데이터에 이 산 푸리에 변환(DFT, Discrete Fourier Transform)을 적용하여 데이터를 변환한다. 변환된 데이터는 그 특성으로 인하여 유사 패턴의 검색에 적합하며 또 유사도를 비교할 때 일부분만 사용되므로 색인에 사용되는 속성의 개수를 줄이는 장점이 있다. 또 데이터웨어하우스 환경이므로 더 좋은 성능을 보일 수 있는 비트맵 색인 기법을 적용하였다. 시퀀스 데이터의 효율적인 검색을 위하여 영역 지정 검색 방법을 제안하고 효율적인 실행을 위한 비트맵을 활용한 다양한 조합의 색인을 생성하고, 질의 최적화기의 연산 비용을 비교하면서 효율적인 검색 연산을 위한 최저 비용의 색인을 선택하는 기법을 연구하였다.

공간 데이터웨어하우스에서 효율적인 공간 데이터 적재를 위한 이기종 데이터 소스의 비중복 추출기법 (Non Duplicated Extract Method of Heterogeneous Data Sources for Efficient Spatial Data Load in Spatial Data Warehouse)

  • 이동욱;백성하;김경배;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.143-150
    • /
    • 2009
  • 공간 데이터웨어하우스는 공간 DBMS 또는 다양한 소스데이터로부터 시간에 따라 추출된 공간데이터를 ETL 과정을 통해 가공된 데이터를 관리하는 시스템이다. 적재 주기 마다 추출된 공간데이터는 비공간 데이터와 달리 같은 주제의 중복된 공간 정보가 유용하지 않으며, 공간 데이터의 특징으로 저장 공간의 낭비가 크다. 또한 이기종간의 시스템에서 소스 데이터를 추출할 경우 서로 다른 공간데이터 타입 및 스키마를 가지고 있어 이를 위한 공간데이터 추출 기법이 요구된다. 기존 기법에서는 기준이 되는 Geocoding DB를 이용하여 추출된 공간데이터에 대한 주소 매칭과정을 수행함으로써, 정형화된 데이터 셋을 적재한다. 하지만 이 기법은 추출 데이터를 매번 Geocoding DB와 비교 연산이 발생하며, 주제별로 공간 데이터를 통합 관리함에 따라 이 기종 공간 DBMS 사이에 중복된 데이터를 고려하지 않는 문제점이 있다. 본 논문에서는 공간 데이터웨어하우스 구축기 내에서 이 기종의 소스 시스템으로부터 추출된 갱신질의 통합을 이용한 효율적 추출 기법을 제안한다. 이는 이 기종의 공간 DBMS로부터 발생한 과거 적재 시점부터 현재까지 발생한 질의 중 삽입이나 삭제 등의 업데이트 관련 질의만을 추출하여 공간데이터의 불필요한 추출 연산 비용을 제거한다. 또한 소스 공간 데이터베이스 관리시스템의 업데이트 질의를 이용하여 추출된 공간 데이터를 주제별로 중복 제거 및 통합 한다. 제안 기법은 데이터 중복 저장에 의한 저장 공간의 낭비를 줄이고, 적재시점 별 통합된 데이터를 적재함으로써 빠른 공간데이터 분석을 지원할 수 있다.

  • PDF

유비쿼터스 데이터 관리에서 의사결정을 위한 정확하고 효율적인 데이터 통합 연구 (Study of an Accurate and Efficient Data Integration for Decision Making in Data Management of Ubiquitous)

  • 이현창
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권2호
    • /
    • pp.145-151
    • /
    • 2006
  • IT기술의 급속한 발전과 함께 데이터의 증가 양이 양산되고 있다. 새로운 데이터양은 매우 커지고 있으며, 유비쿼터스 환경에서 필요되는 센서 장치 혹은 클라이언트 장치들로부터 생성된 새로운 데이터 형태는 매우 다양하여 데이터들을 관리하고 제어하기가 어렵다. 특히, 유비쿼터스 환경에서 발생된 데이터는 PDA, 스마트 폰, 모바일 장치 혹은 센서 장치 등 다양한 원천 소스 등을 통해 생성된다. 그러므로 의사결정을 위해 유비쿼터스 장치로부터 생성된 데이터를 관리하고 제어하기 위해서 통합된 저장 장소로 데이터 웨어하우스를 사용한다. 데이터 웨어하우스는 서로 다른 몇몇 DBMS 데이터를 하나의 DBMS로 통합하고 집단화한다. 또한, 소스 데이터로부터 갱신된 데이터는 효과적으로 데이터 웨어하우스로 전파되어야 한다. 그러므로 본 연구에서는 새로운 IT패러다임 환경인 유비쿼터스 컴퓨팅 환경에서 정확하고 효율적인 데이터 관리 방법론을 위한 모델을 제시한다. 또한 갱신된 데이터를 의사 결정을 위해 활용할 수 있으며, 기존 방법론과 비교하여 분석 결과를 보인다.

  • PDF

데이터마트- 사용자 중심의 데이터 저장고

  • 한국데이터베이스진흥센터
    • 디지털콘텐츠
    • /
    • 6호통권73호
    • /
    • pp.97-97
    • /
    • 1999
  • 대부분의 데이터 웨어하우스(DW)는 사용자 인터페이스보다는 데이터 통합에 보다 초점이 맞춰져 있어 최종 이용자는 불편함을 느낄 때가 많다. 최종 사용자 질의에 최적의 성능을 발휘하도록 설계된 데이터 마트가 등장하게 되었다. 그 기본 개념을 DW와 비교하여 살펴본다.

  • PDF

전자상거래 활성화를 위한 웹 웨어하우징의 유지 전략 (Strategy for Maintenance of Web Warehousing to activate an Electronic Commerce)

  • 이현창;김경창
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.517-519
    • /
    • 2000
  • 전자상거래는 비즈니스의 목적을 추구하기 위해서 거래 당사자들이 인터넷 등의 전자적인 매체를 이용하여 상품이나 서비스, 거래에 수반되는 경제활동을 일컫는다. 이러한 전자상거래는 기존의 상거래 형태가 고객의 필요와 요구에 부응해 고객과의 개별화된 일대일 관계를 유지하는 개별 고객 점유 형태로 탈바꿈하였다. 이러한 패러다임의 변화속에서 고객 중심의 패러다임을 추구하는 최적의 환경을 제공할 수 있도록 인터넷이 그 역할을 담당하고 있다. 이를 제공하는 환경이 바로 웹 웨어하우징이다. 그러나 전자상거래 플랫폼에서 웹 상에서 나타나는 데이터가 HTML 형태이므로 실행시에 필요한 형태로 재구성하여야 한다. 그러나 기존 연구에서는 복잡한 방법과 웹 웨어하우스에 소스 결과를 바로바로 적용할 수 없었다. 이에 본 연구에서는 웹 웨어하우스에 저장된 데이터를 정확하고 효율적으로 유지 관리할 수 있는 알고리즘을 제시하며 성능을 평가를 보인다.

  • PDF

데이타 웨어하우스 환경에서의 설명기반 데이타 마이닝 (Explanation-based Data Mining in Data Warehouse)

  • 김현수;이창호
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1999년도 춘계공동학술대회: 지식경영과 지식공학
    • /
    • pp.115-123
    • /
    • 1999
  • 산업계 전반에 걸친 오랜 정보시스템 운용의 결과로 대용량의 데이타들이 축적되고 있다. 이러한 데이타로부터 유용한 지식을 추출하기 위해 여러 가지 데이타 마이닝 기법들이 연구되어왔다. 특히 데이타 웨어하우스의 등장은 이러한 데이타 마이닝에 있어 필요한 데이타 제공 환경을 제공해 주고 있다. 그러나 전문가의 적절한 판단과 해석을 거치지 않은 데이타 마이닝의 결과는 당연한 사실이거나, 사실과 다른 가짜이거나 또는 관련성이 없는(trivial, spurious and irrelevant) 내용만 무수히 쏟아낼 수 있다. 그러므로 데이타 마이닝의 결과가 비록 통계적 유의성을 가진다 하더라고 그 정당성과 유용성에 대한 검증과정과 방법론의 정립이 필요하다. 데이타 마이닝의 가장 어려운 점은 귀납적 오류를 없애기 위해 사람이 직접 그 결과를 해석하고 판단하며 아울러 새로운 탐색 방향을 제시해야 한다는 것이다. 본 논문의 목적은 이러한 데이타 마이닝에서 추출된 결과를 검증하고 아울러 새로운 지식 탐색 방향을 제시하는 방법론을 정립하는데 있다. 본 논문에서는 데이타 마이닝 기법 중 연관규칙탐사로 얻어진 결과를 설명가능성 여부의 판단을 통해 검증하는 기법을 제안하며, 이를 통해 얻어진 검증된 지식을 토대로 일반화를 통한 새로운 가설을 생성하여 데이타 웨어하우스로부터 연관규칙을 검증하는 일련의 아키텍쳐(architecture)를 제시하고자 한다. 먼저 데이타 마이닝 결과에 대한 설명의 필요성을 제시하고, 데이타 웨어하우스와 데이타 마이닝 기법들에 대한 간략한 설명과 연관규칙탐사에 대한 정의 및 방법을 보이고, 대상 영역에 대한 데이타 웨어하우스의 스키마를 보였다. 다음으로 도메인 지식(domain knowledge)과 연관규칙탐사를 통해 얻어진 결과를 표현하기 위한 지식표현 방법으로 Relational predicate Logic을 제안하였다. 연관규칙탐사로 얻어진 결과를 설명하기 위한 방법으로는 연관규칙탐사로 얻어진 연관규칙에 대해 Relational Predicate Logic으로 표현된 도메인 지식으로서 설명됨을 보이게 한다. 또한 이러한 설명(explanation)을 토대로 검증된 지식을 일반화하여 새로운 가설을 연역적으로 생성하고 이를 연관규칙탐사론 통해 검증한 후 새로운 지식을 얻는 반복적인 Explanation-based Data Mining Architecture를 제시하였다. 본 연구의 의의로는 데이타 마이닝을 통한 귀납적 지식생성에 있어 귀납적 오류의 발생을 고메인 지식을 통해 설명가능 함을 보임으로 검증하고 아울러 이러한 설명을 통해 연역적으로 새로운 가설지식을 생성시켜 이를 가설검증방식으로 검증함으로써 귀납적 접근과 연역적 접근의 통합 데이타 마이닝 접근을 제시하였다는데 있다.

  • PDF

DEhBT: hB-tree를 이용한 다차원 데이타 분할 기법 (DEhBT:A Multidimensional Data Partitioning Scheme using hB-tree)

  • 김동연;오영배;최동훈;한상영;이상구
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권1호
    • /
    • pp.16-24
    • /
    • 1999
  • 본 논문에서는 병렬 DBMS를 사용하는 데이터 웨어하우스의 성능을 개선하기 위한 새로운 다차원 데이터 분할 기법을 제안한다. 데이터 웨어하우스는 많은 양의 데이터를 저장하는 대용량 데이터베이스이며 분석적인 정보를 얻기 위한 다차원 범위 질의가 대부분을 차지한다. 단일 차원분할 기법으로는 다차원 질의를 효과적으로 처리하기 어렵고 기존의 다차원 분할 기법은 임의의 알 수 없는 분포를 가진 데이터에 대해 균등한 분할을 보장하기 어렵다. 본 논문에서는 hB-tree 구조를 이용하여 균등한 분할을 보장하는 다차원 분할 기법을 제안하고 그 성능을 측정하기 위한 시뮬레이터 결과를 보인다. 시뮬레이션에서 hB-tree 분할 기법은 균등 분포뿐만 아니라 비균등 분포 데이터 집합에 대해서도 균등한 분할을 보인다.

OLAP Server에 독립적인 OLAP Client의 구현

  • 임상배;김경창;지원철
    • 한국경영과학회:학술대회논문집
    • /
    • 한국경영과학회 1998년도 추계학술대회 논문집
    • /
    • pp.361-364
    • /
    • 1998
  • 정보기술의 발달과 경영패러다임의 변화로 데이터웨어하우스가 등장했다. 기존의 관계형 데이터베이스를 기반으로 하는 데이터웨어하우스에서는 사용자가 다양하고 복잡한 분석을 효율적으로 수행하기가 매우 어렵다. 따라서 새로운 데이터모델 즉 다차원 모델이 필요하게 되었다. OLAP(Online Analytical Processing)은 이런 다차원적인 기업 데이터를 사용자가 분석하고 Report 할 수 있게 만들고 관리하는 역할을 한다. 이러한 OLAP은 클라이언트/서버 구조를 가지는데 OLAP 제품별로 질의방법이나 보고방식들이 다르다. 따라서 최종 사용자는 다른 Client 툴을 사용할 경우 새로운 질의 방법과 보고방식을 익혀야한다. 그리고 커스텀화된 OLAP Client툴을 사용할 경우 Server가 바뀌면 사용할 수 없게 되는 단점이 있다. 이런 문제의 원인은 OLAP Client가 Server에 의존적이기 때문이다. 본 논문에서는 이러한 문제점을 해결하기 위해서 OLAP의 특성과 OLAP Client가 지녀야 하는 특성을 알아보고 이러한 요구사항에 맞는 OLAP Server에 의존적이지 않은 통합된 OLAP Client를 제시하고 실제 구현하였다.

  • PDF

멀티미디어 데이터베이스 환경에서 시각화된 사용자 정의 스키마 통합 (Visual User Defined Schema Integration at Multimedia Database Environment)

  • 이현창
    • 한국컴퓨터정보학회논문지
    • /
    • 제9권2호
    • /
    • pp.57-62
    • /
    • 2004
  • 최근 데이터베이스를 이용한 정보처리응용 시스템이 증가하고 있는 추세이다. 그러나 많은 데이터를 가지고 있지만 개별적이면서 관련성이 적은 수많은 데이터를 가지는 기업은 데이터를 종합적으로 분석 처리하여 사용자 요구에 신속하게 응답할 수 있도록 다양하고 고품질의 정보 서비스를 지원하기 위한 데이터를 필요로 한다 이를 위해 데이터 웨어하우스 환경에 관한 연구가 많이 이루어지고 있다. 본 논문에서는 최종 사용자 요구에 대처하기 위해 비주얼 환경을 사용한 데이터 웨어하우스의 효과적인 설계 및 구현 결과를 보인다. 또한 기존의 일반 SQL질의를 수행할 수 있도록 한다.

  • PDF