• Title/Summary/Keyword: 데이터웨어하우스

Search Result 294, Processing Time 0.022 seconds

Materialized View Selection for Datacube using Simplified Lattice in Datawarehouse (데이터웨어하우스에서 단순화된 격자를 이용한 데이터큐크의 실체뷰 선택)

  • Jang, Ji-Suk;Seo, Eun-Ju;Lee, Jeon-Yeong
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.5
    • /
    • pp.604-612
    • /
    • 1999
  • 데이터웨어하우스는 데이터분석을 위한 특수 목적의 데이터베이스로, 주로 데이터분석을 위한 질의(이하 OLAP 질의)가 던져진다. 그런데 OLAP질의는 수백만개의 레코드를 가지 테이블에 대해 하나 이상의 aggregation 함수와 group-by 연산자가 포함되므로, 질의 처리 시간은 수 분에서 수 시간이 걸린다. 이를 개선하기위하여 데이터 큐브를 구현함에 있어서의 문제는 디스크 공간이 한정되어 있기 때문에 평균 질의 처리 시간이 훨씬 짧아진다하더라도 모든 셀들을 실체화할수 없다. 따라서 한정된 디스크 공간을 최대한 활용하면서 가능한 빠른 평균 질의 처리 시간을 얻을 수 있도록 데이터 큐브의 일부만을 실체화 시켜야한다. 본 논문의 주제와 관련된 연구로는 Harinarayan[4] 이 제안한 greedy 알고리즘이 있다. 이 알고리즘은 1) 데이터 큐브를 격자구조로 표현한후, 2) 격자의 위에서부터 아래로 차례로 뷰들을 방문하면서 방문한 뷰가 실체화되 경우 데이터 큐브에 주는 이익을 계산한다. 3) 그 중 가장 이익이 큰 것을 선택한다. 3) 그중 가장 이익이 큰 것을 선택한다. 2)와 3)의 과정은 k개의 뷰를 선택할 경우, k번 반복된다. 이 알고리즘의 운영 시간은 데이터 큐브를 구성하는 뷰의 개수가 n개이고 그 중에서 k개를 실체화할 경우에 O(kn2)이다. 본 논문에서는 운영 시간을 향상시킨 수정된 greedy 알고리즘을 제안한다. 알고리즘 내부에서 실체화할 뷰를 선택할 때 격자를 단순화시킨 트리를 사용함으로써, 알고리즘 운영시간을 O(kn2)에서 O(kn)으로 향상시켰다.

Development and Application of a Big Data Platform for Education Longitudinal Study Analysis (교육종단연구 분석을 위한 빅데이터 플랫폼 개발 및 적용)

  • Park, Jung;Cho, Wan-Sup
    • The Journal of Bigdata
    • /
    • v.5 no.1
    • /
    • pp.11-27
    • /
    • 2020
  • In this paper, we developed a big data platform to store, process, and analyze effectively on such education longitudinal study data. And it was applied to the Seoul Education Longitudinal Study(SELS) to confirm its usefulness. The developed platform consists of data preprocessing unit and data analysis unit. The data preprocessing unit 1) masking, 2) converts each item into a factor 3) normalizes / creates dummy variables 4) data derivation, and 5) data warehousing. The data analysis unit consists of OLAP and data mining(DM). In the multidimensional analysis, OLAP is performed after selecting a measure and designing a schema. The DM process involves variable selection, research model selection, data modification, parameter tuning, model training, model evaluation, and interpretation of the results. The data warehouse created through the preprocessing process on this platform can be shared by various researchers, and the continuous accumulation of data sets makes further analysis easier for subsequent researchers. In addition, policy-makers can access the SELS data warehouse directly and analyze it online through multi-dimensional analysis, enabling scientific decision making. To prove the usefulness of the developed platform, SELS data was built on the platform and OLAP and DM were performed by selecting the mathematics academic achievement as a measure, and various factors affecting the measurements were analyzed using DM techniques. This enabled us to quickly and effectively derive implications for data-based education policies.

데이터웨어하우징을 이용한 CRM 아키텍처

  • 김수연;황현석;서의호
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.165-168
    • /
    • 2001
  • 정보기술의 발전은 기업의 마케팅 방식과 고객 정보를 관리하는 방법을 변환시키고 있다. 급속도로 확산되는 인터넷 환경은 데이터의 수집 과정을 쉽게 만들었으며, 대량의 데이터를 기업에 제공할 수 있게 하였다. 새로운 정보기술 도구로 인해 가능해진 대량의 고객 정보는 기업에게 경쟁 우위를 얻기 위한 도전과 기회를 제공하고 있다. 많은 조직에서는 의사 결정 지원을 위하여 이들 거대한 데이터베이스에 내재된 지식의 중요성을 인식하고 있다. 특히, 이들 데이터베이스로부터 추출된 고객에 대한 지식은 마케팅에 매우 중요하게 사용될 수 있다. 본 연구에서는 데이터웨어하우징을 이용한 CRM 아키텍처를 제안한다. 고객 중심의 전사적인 CRM 아키텍처를 제시하고 CRM 시스템 구성에 필요한 주요 기능을 제안한다. 제안된 아키텍처 내에서 고객 데이터는 다양한 애플리케이션 데이터 소스로부터 데이터전송 시스템을 이용하여 데이터웨어하우스로 통합된 뒤, 다시 마케팅 데이터 마트로 구성되어 CRM 활동에 사용될 수 있다. CRM은 고객 인식(Customer Identification), 고객 분석(Customer Analysis), 상품분석(Product Analysis), 고객 서비스(Customer Service)의 주요 기능을 갖는다.

  • PDF

데이터웨어하우스를 기반으로 한 마케팅시스템 활용사례

  • 황명수
    • Proceedings of the Korea Database Society Conference
    • /
    • 2002.10a
    • /
    • pp.529-543
    • /
    • 2002
  • 미국 마케팅협회 (AMA)의 정의전문위원회가 1985년에 만든 마케팅의 정의를 보면, "마케팅이란 개인이나 조직의 목표를 만족시키는 교환을 창조하기 위한 아이디어ㆍ상품ㆍ서비스에 대해 개념 정립, 가격 설정, 프로모션, 유통을 계획하여 실행하는 프로세스이다" 라고 정의한다. 다시 말하면, 상품이나 서비스를 어떻게 만들어서 어떻게 판매 할 것인가에 대한 방법론이라고 할 수 있다. (중략)

  • PDF

국내 OLAP 시장 분석

  • Park, Min-Sik
    • Digital Contents
    • /
    • no.7 s.74
    • /
    • pp.28-32
    • /
    • 1999
  • 다차원 데이터 분석 툴인 OLAP (On- Line Analytical Processing)의 사용이 금융, 통신, 유통 등을 중심으로 급속하게 확산되고 있다. 이에 따라 DBMS업체를 비롯해 툴 전문업체, 국산개발 업체 등이 20여 제품을 출시하여 열띤 경쟁을 하고 있다. 특히 DBMS업체들은 전문업체와의 제휴를 통해 데이터베이스 구축부터 분석까지의 원스톱 솔루션을 제공하면서 빠른 성장세를 보이고 있다. 데이터웨어하우스 확산과 더불어 성장세를 보이고 있는 OLAP의 기술 및 업체 동향에 대해 살펴봤다.

  • PDF

Performance Comparison of Column-Oriented and Row-Oriented Database Systems for Star Schema Join Processing (스타 스키마 조인 처리에 대한 세로-지향 데이터베이스 시스템과 가로-지향 데이터베이스 시스템의 성능 비교)

  • Oh, Byung-Jung;Ahn, Soo-Min;Kim, Kyung-Chang
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.8
    • /
    • pp.29-38
    • /
    • 2011
  • Unlike in traditional row-oriented database systems, a column-oriented database system stores data in column-oriented and not row-oriented order. Recently, research results revealed the effectiveness of column-oriented databases for applications such as data warehouse and decision support systems that access large volumes of data in a read only manner. In this paper, we investigate the join strategies for column-oriented databases and prove the effectiveness of column-oriented databases in data warehouse systems. For unbiased comparison, the two database systems are analyzed using the star schema benchmark and the performance analysis of a star schema join query is carried out. We experimented with well-known join algorithms and considered early materialization and late materialization join strategies for column-oriented databases. The performance results confirm that star schema join queries perform better in terms of disk I/O cost in column-oriented databases than in row-oriented databases. In addition, the late materialization strategy showed more performance gain than the early materialization strategy in column-oriented databases.

A Study on Selecting Bitmap Join Index to Speed up Complex Queries in Relational Data Warehouses (관계형 데이터 웨어하우스의 복잡한 질의의 처리 효율 향상을 위한 비트맵 조인 인덱스 선택에 관한 연구)

  • An, Hyoung-Geun;Koh, Jae-Jin
    • The KIPS Transactions:PartD
    • /
    • v.19D no.1
    • /
    • pp.1-14
    • /
    • 2012
  • As the size of the data warehouse is large, the selection of indices on the data warehouse affects the efficiency of the query processing of the data warehouse. Indices induce the lower query processing cost, but they occupy the large storage areas and induce the index maintenance cost which are accompanied by database updates. The bitmap join indices are well applied when we optimize the star join queries which join a fact table and many dimension tables and the selection on dimension tables in data warehouses. Though the bitmap join indices with the binary representations induce the lower storage cost, the task to select the indexing attributes among the huge candidate attributes which are generated is difficult. The processes of index selection are to reduce the number of candidate attributes to be indexed and then select the indexing attributes. In this paper on bitmap join index selection problem we reduce the number of candidate attributes by the data mining techniques. Compared to the existing techniques which reduce the number of candidate attributes by the frequencies of attributes we consider the frequencies of attributes and the size of dimension tables and the size of the tuples of the dimension tables and the page size of disk. We use the mining of the frequent itemsets as mining techniques and reduce the great number of candidate attributes. We make the bitmap join indices which have the least costs and the least storage area adapted to storage constraints by using the cost functions applied to the bitmap join indices of the candidate attributes. We compare the existing techniques and ours and analyze them in order to evaluate the efficiencies of ours.

A New Data Warehousing System Architecture Supporting High Performance View Maintenance (고성능 뷰 관리르 지원하는 새로운 데이터 웨어하우징 시스템 구조)

  • Kim, Jeom-Su;Lee, Do-Heon;Lee, Dong-Ik
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.10
    • /
    • pp.1156-1166
    • /
    • 1999
  • 의사결정 시스템은 전사적인 의사결정과 전략적 정보수집을 위해 거대한 량의 정보를 빠른 시간내에 제공할 것을 요구한다. 데이타 웨어하우스는 이러한 정보를 신속히 제공하기 위해 여러 지역 데이타베이스로부터 필요한 정보를 사전에 추출하고 가공 및 통합하여 별도의 저장공간에 저장한다. 일반적으로, 웨어하우스 내의 정보는 지역 데이타베이스에 저장된 정보에 대한 실체화된 뷰로서 간주하며 지역 데이타의 변경에 따라 일관성을 유지하도록 반영해야 한다. 본 논문에서는 일관성을 유지하기 위해 정보 공유가 가능한 데이타 웨어하우스 시스템의 구조와 비-보상 실체 뷰 관리 기법을 제안한다. 본 논문에서 제안한 데이타 웨어하우스 시스템의 구조는 지역 데이타베이스에서 추출된 정보를 관리하는 별도의 지역 정보 관리자를 두어 뷰 관리자들 간의 정보 공유가 가능하게 한다. 비-보상 실체 뷰 관리 기법은 지역 데이타 변경 사건에 따른 뷰 관리 시 다른 사건에 의해 영향을 받지 않도록 하기 때문에 기본의 사전 보상이나 나중 보상 기법과는 달리 추가적인 질의 처리를 요구하지 않는 기법이다.Abstract A decision support system(DSS) commonly requires fast access to tremendous volume of information. A data warehouse is a database storing the information that is extracted, filtered and integrated from several relevant local databases to reply upon aggregated queries. The information stored in the data warehouse can be regarded as materialized views. The materialized view has to be modified according to the change of the corresponding local databases to preserve the data consistency. In this paper, we propose a data warehousing system architecture allowing information sharing (DAWINS), and a non-compensating materialized view maintenance algorithm(NCA). DAWINS architecture allows relevant information to be shared by individual view managers with local data manager for each local database. Unlikely to the pre- or post-compensating algorithms, which are required to remove the effects of some events to other view in the process of view maintenance, NCA does not require any additional query processing, since a local data manager in DAWINS already maintains the effects of update events occurring in local systems.

오라클7.3 유니버셜 서버

  • Choe, Gi-Yeong
    • Digital Contents
    • /
    • no.5 s.48
    • /
    • pp.52-56
    • /
    • 1997
  • 오라클7.3 유니버설 서버는 개방형 환경하에서 기업의 트랜잭션 처리 시스템은 물론 전략적 의사결정을 위한 데이터 웨어하우스, 그리고 인트라넷과 인터넷에 이르는 기업 전반에 걸친 정보관리 솔루션을 제공하는 DBMS 서버이다.

  • PDF