• 제목/요약/키워드: OLAP Analysis

검색결과 90건 처리시간 0.029초

교육종단연구 분석을 위한 빅데이터 플랫폼 개발 및 적용 (Development and Application of a Big Data Platform for Education Longitudinal Study Analysis)

  • 박정;조완섭
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.11-27
    • /
    • 2020
  • 본 논문에서는 교육종단연구 데이터를 효과적으로 저장·처리·분석하기 위한 데이터 플랫폼을 개발하고, 이를 서울교육종단연구(SELS)에 적용하여 유용성을 확인한다. 플랫폼은 데이터 전처리부와 데이터 분석부로 구성된다. 데이터 전처리부에서는 1) 마스킹 2) 요인화 3) 정규화·이산화 4) 데이터 유도 5) 데이터 웨어하우징 과정을 통해 교육종단연구 데이터 웨어하우스를 생성하게 된다. 데이터 분석부는 OLAP과 데이터 마이닝(DM)으로 구성된다. 먼저, OLAP에서는 측정값 선정, 스키마 설계를 거쳐 OLAP을 수행하게 된다. 이후 DM에서는 변수 선택, 연구모형 선택, 데이터 수정, 인수튜닝, 모형학습, 모형평가 및 해석단계를 거친다. 본 플랫폼에서 전처리 과정을 거쳐 생성된 데이터 웨어하우스는 다양한 연구자들에 의해 공유될 수 있고, 지속적인 연구결과 데이터 셋의 축적이 가능하므로 후속 연구자들은 추가적인 분석을 수월하게 수행할 수 있게 된다. 또한, 정책입안자들도 SELS 데이터 웨어하우스에 직접 접근하여 다차원 분석을 통해 온라인으로 분석할 수 있어 과학적인 의사결정이 가능하게 된다. 본 연구에서는 개발된 플랫폼의 유용성을 입증하기 위해 SELS 데이터를 플랫폼 상에서 구축하고 수학 학업성취도를 측정값으로 선정하여 OLAP 및 DM을 수행하였으며, 측정값에 영향을 주는 다양한 요인을 데이터 마이닝 기법을 사용하여 분석하였다. 이를 통해 데이터 기반 교육정책 시사점을 빠르고 효과적으로 도출할 수 있었다.

XML 큐브를 이용한 다차원 XML 문서 분석 (Multidimensional Analysis of XML Documents using XML Cubes)

  • 박병권
    • 한국정보시스템학회:학술대회논문집
    • /
    • 한국정보시스템학회 2005년도 춘계학술대회 발표 논문집
    • /
    • pp.65-78
    • /
    • 2005
  • Nowadays, large amounts of XML documents are available on the Internet. Thus, we need to analyze them multi-dimensionally in the same way as relational data. In this paper, we propose a new frame-work for multidimensional analysis of XML documents, which we call XML-OLAP. We base XML-OLAP on XML warehouses where every fact data as well as dimension data are stored as XML documents. We build XML cubes from XML warehouses. We propose a new multidimensional expression language for XML cubes, which we call XML-MDX. XML-MDX statements target XML cubes and use XQuery expressions to designate the measure data. They specify text mining operators for aggregating text constituting the measure data. We evaluate XML-OLAP by applying it to a U.S. patent XML warehouse. We use XML-MDX queries, which demonstrate that XML-OLAP is effective for multi-dimensionally analyzing the U.S. patents.

  • PDF

OLAP 큐브의 다중 차원계층구조에 대한 분석 (Analysis of Multiple Dimension Hierarchies of OLAP Cubes)

  • 박영선;김지현;임윤선;김명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.115-117
    • /
    • 2004
  • 롤업과 드릴다운은 다차원 데이터 분석을 위한 주요 연산으로, 각 차원에 정의된 계층구조를 통해 상세 데이터로부터 점차적으로 되는 정보를 분석가에게 제공한다. 이러한 연산 속도를 고속화하기 위해 OLAP 시스템은 사전에 집계 테이블들을 생성해 놓는다. 각 차원은 다중 계층구조를 가질 수도 있으며, 이런 경우 집계 테이블들을 모두 생성하게 되면 데이터 폭발 현상이 발생하게 된다. 본 연구에서는 다중계층 구조를 분류하고, 집계 테이블과 데이터 큐브의 크기를 계산하는 모델을 정립하였다. 이를 통해 분석가는 다중 계층구조에 따른 큐브 크기를 미리 예측할 수 있으며 계층 구조의 모양과 개수를 변경하여 데이터의 양을 조절할 수 있다.

  • PDF

On-Line Analytical Processing and Research Problems for Statisticians

  • Ahn, JeongYong;Han, Kyung Soo
    • Communications for Statistical Applications and Methods
    • /
    • 제7권2호
    • /
    • pp.457-463
    • /
    • 2000
  • Recently, statistical analysis tools have been changed to the applications on the World Wide Web that access data stored in databases. On-line analytical processing(OLAP) is a class of technologies that give users statistical information with multidimensional views of data in databases. In this paper, we introduce the concept and requisites of OLAP system, and we propose some research issues.

  • PDF

XMLA를 사용한 OLAP과 데이타 마이닝 분석이 가능한 리포팅 툴의 구현 (Implementation of Reporting Tool Supporting OLAP and Data Mining Analysis Using XMLA)

  • 최지웅;김명호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권3호
    • /
    • pp.154-166
    • /
    • 2009
  • 기업 운영에서 발생하는 데이타의 수집과 통합에서부터 의사결정을 위한 정보의 분석 및 그 결과로의 접근을 제공하기 위한 BI 환경에서 최종 사용자들을 위한 프론트-엔드 툴로서는 데이터베이스 쿼리 및 리포팅 툴, OLAP 툴, 데이타 마이닝 툴이 대표적이다. 데이타베이스 쿼리 및 리포팅 툴은 SQL 쿼리 결과 셋을 반영하는 워드프로세서가 생성하는 문서 수준의 정교한 동적 문서의 생성과 웹 환경을 통한 문서 배포 능력이 장점이지만 데이타 소스가 RDBMS로 제한되어 있다. 반면, OLAP 툴과 데이타 마이닝 툴은 각기 고유한 방식으로 데이타를 분석할 수 있는 능력은 강력하지만 차트와 표 등의 제한적인 컴포넌트들만으로 분석 결과를 제공할 수 있다는 한계를 가지고 있다. 본 논문에서는 상호 보완적으로 사용될 수 있는 BI 환경을 위한 프론트-엔드 툴들을 통합하였다. 본 논문에서 제안하는 리포팅 툴은 RDBMS에서 데이타를 추출하기 위한 SQL 기반의 쿼리 편집기만을 내장한 기존의 리포팅 툴과 달리 OLAP과 데이타 마이닝을 위한 쿼리 편집기를 추가하여 OLAP과 데이타 마이닝 서버로부터도 데이터를 추출할 수 있다. 그리고 기존의 리포팅 툴은 동일한 문서를 다수의 사용자들이 조회하는 상황에서 반복된 문서 생성을 피하기 위하여 서버 측에서 문서를 생성하는 구조를 갖지만 이 시스템은 다수의 사용자들을 위한 문서배포 목적이 아닌 사용자들이 데이타 분석 목적으로 서로 다른 문서를 생성하는 상황에 적합하도록 서버 측에 비해 제한된 리소스 환경을 갖는 클라이언트 측에서 동작하는 리포트 뷰어에서 대량의 데이타를 포함하는 문서를 생성할 수 있는 구조와 처리방식을 갖고 있다. 또한 이 시스템에서 접근하는 세가지 종류의 데이타 소스에서 추출한 데이타들을 연계하여 하나의 문서에서 통합할 수 있도록 하는 자료구조를 갖추고 있다. 마지막으로 이 시스템은 특정 벤더의 OLAP과 데이타 마이닝 서버에 종속적으로 동작하지 않기 위하여 웹 서비스 기반의 XMLA를 이들 서버와의 통신 프로토콜로써 선택하였다.

OLAP 큐브에서의 집계함수 AVG의 적용 (Applying an Aggregate Function AVG to OLAP Cubes)

  • 이승현;이덕성;최인수
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권1호
    • /
    • pp.217-228
    • /
    • 2009
  • 데이터에 내재되어 있는 특이 패턴을 찾고자 데이터 분석을 할 때에 보통 다차원적인 데이터 집계를 하는데, 이때에 표준 SQL 쿼리를 사용해도 좋지만 쿼리가 아주 복잡해진다는 단점이 생기게 된다. 쿼리가 복잡해지면 표준 테이블을 여러 번 참조해야 되고 결과적으로 쿼리의 성능이 저하된다는 뜻이다. OLAP 쿼리는 복잡한 것이 대다수이기 때문에 SQL 쿼리를 대신할 새로운 집계용 연산자인 데이터 큐브를 간단히 불러 큐브를 만들 필요가 생기는 것이다. 집계를 하고, 부분 합을 구하는 것과 같은 OLAP 업무를 지원해 주는 것이 데이터 큐브이다. 이러한 데이터 큐브를 작성하는데 관련된 집계함수에는 여러 가지가 있는데, 이를 분배적 함수, 대수적 함수 그리고 전체관적 함수의 3가지로 분류할 수 있다. 이 중, SUM, COUNT, MAX, MIN과 같은 분배적 함수는 데이터 큐브를 작성하는 데에 직접사용 할 수 있고, AVG와 같은 대수적 함수는 매개함수를 활용하면 사용가능 하다고 알려져 있다. 즉, AVG 자체는 분배적 함수가 아니지만, (SUM, COUNT)와 같은 매개함수로 분배적 함수가되기 때문에 매개함수를 이용하여 구하면 된다는 뜻이다. 그러나 본 연구에서는 (SUM, COUNT)와 같은 매개함수를 통해 AVG를 구하는 것이 OLAP 큐브 작성에 적용시킬 수 없다는 사실을 확인했으며, 결과적으로 이 매개함수를 활용하면 잘못된 결론에 다다르고 그릇된 의사결정을 하게 된다는 사실을 확인하게 되었다. 따라서 본 연구에서는 집계함수 AVG를 OLAP 큐브에 적용시켰을 때의 여러 문제점을 밝혀내고 또한 이들 문제점을 해결할 방안을 찾고자 하는 데에 목적을 두고 있다.

아파트 경매를 위한 웹 기반의 지능형 의사결정지원 시스템 구현 (Implementation of a Web-Based Intelligent Decision Support System for Apartment Auction)

  • 나민영;이현호
    • 한국정보처리학회논문지
    • /
    • 제6권11호
    • /
    • pp.2863-2874
    • /
    • 1999
  • Apartment auction is a system that is used for the citizens to get a house. This paper deals with the implementation of a web-based intelligent decision support system using OLAP technique and data mining technique for auction decision support. The implemented decision support system is working on a real auction database and is mainly composed of OLAP Knowledge Extractor based on data warehouse and Auction Data Miner based on data mining methodology. OLAP Knowledge Extractor extracts required knowledge and visualizes it from auction database. The OLAP technique uses fact, dimension, and hierarchies to provide the result of data analysis by menas of roll-up, drill-down, slicing, dicing, and pivoting. Auction Data Miner predicts a successful bid price by means of applying classification to auction database. The Miner is based on the lazy model-based classification algorithm and applies the concepts such as decision fields, dynamic domain information, and field weighted function to this algorithm and applies the concepts such as decision fields, dynamic domain information, and field weighted function to this algorithm to reflect the characteristics of auction database.

  • PDF

유비쿼터스 데이터 웨어하우스: RFID와 다차원 온라인 분석의 통합 (Ubiquitous Data Warehosue: Integrating RFID with Mutidimensional Online Analysis)

  • 조대연;이승표
    • 한국IT서비스학회지
    • /
    • 제4권2호
    • /
    • pp.61-69
    • /
    • 2005
  • RFID is used for tracking systems in various business fields these days and these systems brought considerable efficiencies and cost savings to companies. Real-time based information acquired through RFID devices could be a valuable source of information for making decisions if it is combined with decision support tools like OLAP of a data warehouse that has originally been designed for analyzing static and historical data. As an effort of extending the data source of a data warehouse, RFID is combined with a data warehouse in this research. And OLAP is designed to analyze the dynamic real-time based information gathered through RFID devices. The implemented prototype shows that ubiquitous computing technology such as RFID could be a valuable data source for a data warehouse and is very useful for making decisions when it is combined with online analysis. The system architecture of such system is suggested.

Factors Clustering Approach to Parametric Cost Estimates And OLAP Driver

  • JaeHo, Cho;BoSik, Son;JaeYoul, Chun
    • 국제학술발표논문집
    • /
    • The 3th International Conference on Construction Engineering and Project Management
    • /
    • pp.707-716
    • /
    • 2009
  • The role of cost modeller is to facilitate the design process by systematic application of cost factors so as to maintain a sensible and economic relationship between cost, quantity, utility and appearance which thus helps in achieving the client's requirements within an agreed budget. There are a number of research on cost estimates in the early design stage based on the improvement of accuracy or impact factors. It is common knowledge that cost estimates are undertaken progressively throughout the design stage and make use of the information that is available at each phase, through the related research up to now. In addition, Cost estimates in the early design stage shall analyze the information under the various kinds of precondition before reaching the more developed design because a design can be modified and changed in all process depending on clients' requirements. Parametric cost estimating models have been adopted to support decision making in a changeable environment, in the early design stage. These models are using a similar instance or a pattern of historical case to be constituted in project information, geographic design features, relevant data to quantity or cost, etc. OLAP technique analyzes a subject data by multi-dimensional points of view; it supports query, analysis, comparison of required information by diverse queries. OLAP's data structure matches well with multiview-analysis framework. Accordingly, this study implements multi-dimensional information system for case based quantity data related to design information that is utilizing OLAP's technology, and then analyzes impact factors of quantity by the design criteria or parameter of the same meaning. On the basis of given factors examined above, this study will generate the rules on quantity measure and produce resemblance class using clustering of data mining. These sorts of knowledge-base consist of a set of classified data as group patterns, of which will be appropriate stand on the parametric cost estimating method.

  • PDF

감염관리를 위한 항생제 사용량 데이터마트의 구축 (Building the Data Mart on Antibiotic Usage for Infection Control)

  • 임인수
    • 대한임상검사과학회지
    • /
    • 제48권4호
    • /
    • pp.348-354
    • /
    • 2016
  • 병원정보시스템에 저장되어 있는 자료들은 적절성 평가 및 질관리를 향상시키는 데 있어 많은 잠재력을 가지고 있으며 이를 기반으로 하는 데이터웨어하우스의 구축은 질 관리의 향상과 임상진료에 많은 도움을 줄 수 있는 것으로 알려져 있다. 본 연구는 감염관리 정보의 체계적이고 효과적인 자료 분석을 위한 일환으로 항생제 사용량 분석이 가능한 데이터마트를 구축하였다. 감염관리의 구성요소 및 평가 척도를 선정 후 XML DTD 방법으로 메타데이터를 설계하였고 모델링을 통해 데이터마트를 구축하여 항생제 사용량 분석을 위한 다차원 분석 도구인 OLAP를 시현하였다. 실험 자료는 1997년 7월 한 달 동안의 천안 지역의 일개 대학병원의 항생제 사용량 자료를 이용하였다. 감염관리 메타데이터의 상위요소는 항생제 내성 정보, 항생제 사용량 정보, 감염 정보, 검사 정보, 환자 정보 및 감염 관련 비용으로서 구성하였다. 이 중 항생제 사용량 정보를 스타 스키마에 적용하기 위한 데이터베이스의 설계를 하여 데이터마트를 구축하였다. 그리고 일 개월 간 사용된 항생제 사용량에 대해 OLAP을 시현하였다. 본 연구는 XML과 OLAP 기술의 구현을 통해 항생제 사용량에 대한 감염관리 데이터마트를 수립하였다. 개념적이고 구조화된 데이터마트의 구축은 감염관리 정보에 대해 신속하고 다양한 분석을 제공할 것으로 사료되었다.