• Title/Summary/Keyword: 데이터큐브

Search Result 130, Processing Time 0.029 seconds

Efficient Computation of Data Cubes in MapReduce (맵리듀스에서 데이터 큐브의 효율적인 계산 기법)

  • Lee, Ki Yong;Park, Sojeong;Park, Eunju;Park, Jinkyung;Choi, Yeunjung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.715-718
    • /
    • 2014
  • 맵리듀스(MapReduce)는 대용량 데이터의 병렬 처리에 사용되는 프로그래밍 모델이다. 데이터 큐브(data cube)는 대용량 데이터의 다차원 분석에 널리 사용되는 연산자로서, 주어진 차원 애트리뷰트들의 모든 가능한 조합에 대한 group-by 를 계산한다. 차원 애트리뷰트가 n 개일 때, 데이터 큐브는 총 $2^n$ 개의 group-by 를 계산한다. 본 논문은 맵리듀스 환경에서 데이터 큐브를 효율적으로 계산하는 방법을 제안한다. 제안 방법은 $2^n$ 개의 group-by 를 분할하고 이들을 ${\lceil}n/2{\rceil}$개의 맵리듀스 잡(job)을 통해 단계적으로 계산한다. 제안 방법은 각 맵리듀스 잡에서 맵 함수가 출력하는 중간결과의 크기를 최소화함으로써 총 계산 비용을 크게 줄인다. 실험을 통해 제안 방법은 기존 방법에 비해 데이터 큐브를 더 빠르게 계산함을 보인다.

An Automatic Modeling Method of Volume Data Using Metacubes (메타큐브를 이용한 볼륨 데이터 자동 모델링 방법)

  • 김은석;김재정
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.499-501
    • /
    • 2000
  • 음함수 곡면 모델의 대표적인 구조 요소인 메타볼은 다양한 형태의 곡면을 모델링하는데 뛰어난 성능을 갖는다[1]. 그러나 복잡한 형태의 물체는 곡면 뿐 아니라 평면적인 요소를 포함하기 때문에 메타볼만으로 부정형 물체를 모델링하는 데에는 많은 어려움이 따른다. 메타큐브는 메타볼의 장점을 수용하면서 적은 수의 데이터로 평면 형태의 물체가지 모델링할 수 있는 메타볼의 확장 형태로서, 두 개의 매개변수만으로 구에서 정육면체까지 자유로운 확장이 가능하다[2]. 본 논문은 메타큐브를 이용하여 볼륨 데이터로부터 3차원 물체를 자동 모델링하는 방법을 제안한다. 제안 방법은 볼륨 데이터의 형태에 기반하여 분할된 볼륨 트리를 이용하여 비교적 빠른 시간에 볼륨 데이터로부터 비슷한 형태의 3차원 물체를 재구성하는 메타큐브 집합을 추출한다. 다양한 볼륨데이타에 대한 실험 결과를 제시함으로써 제안 방법의 효용성을 증명한다.

  • PDF

A Summarization Method for Data Streams (데이터 스트림 정보 요약 기법)

  • Han, Sang-Gil;Lee, Won-Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.657-660
    • /
    • 2006
  • 최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

  • PDF

Discovery-Driven Exploration Method in Lung Cancer 2-DE Gel Images Using the Data Cube (데이터 큐브를 이용한 폐암 2-DE 젤 이미지에서의 예외 탐사)

  • Shim, Jung-Eun;Lee, Won-Suk
    • The KIPS Transactions:PartD
    • /
    • v.15D no.5
    • /
    • pp.681-690
    • /
    • 2008
  • In proteomics research, the identification of differentially expressed proteins observed under specific conditions is one of key issues. There are several ways to detect the change of a specific protein's expression level such as statistical analysis and graphical visualization. However, it is quiet difficult to handle the spot information of an individual protein manually by these methods, because there are a considerable number of proteins in a tissue sample. In this paper, using database and data mining techniques, the application plan of OLAP data cube and Discovery-driven exploration is proposed. By using data cubes, it is possible to analyze the relationship between proteins and relevant clinical information as well as analyzing the differentially expressed proteins by disease. We propose the measure and exception indicators which are suitable to analyzing protein expression level changes are proposed. In addition, we proposed the reducing method of calculating InExp in Discovery-driven exploration. We also evaluate the utility and effectiveness of the data cube and Discovery-driven exploration in the lung cancer 2-DE gel image.

Multi-Dimensional Keyword Search and Analysis of Hotel Review Data Using Multi-Dimensional Text Cubes (다차원 텍스트 큐브를 이용한 호텔 리뷰 데이터의 다차원 키워드 검색 및 분석)

  • Kim, Namsoo;Lee, Suan;Jo, Sunhwa;Kim, Jinho
    • Journal of Information Technology and Architecture
    • /
    • v.11 no.1
    • /
    • pp.63-73
    • /
    • 2014
  • As the advance of WWW, unstructured data including texts are taking users' interests more and more. These unstructured data created by WWW users represent users' subjective opinions thus we can get very useful information such as users' personal tastes or perspectives from them if we analyze appropriately. In this paper, we provide various analysis efficiently for unstructured text documents by taking advantage of OLAP (On-Line Analytical Processing) multidimensional cube technology. OLAP cubes have been widely used for the multidimensional analysis for structured data such as simple alphabetic and numberic data but they didn't have used for unstructured data consisting of long texts. In order to provide multidimensional analysis for unstructured text data, however, Text Cube model has been proposed precently. It incorporates term frequency and inverted index as measurements to search and analyze text databases which play key roles in information retrieval. The primary goal of this paper is to apply this text cube model to a real data set from in an Internet site sharing hotel information and to provide multidimensional analysis for users' reviews on hotels written in texts. To achieve this goal, we first build text cubes for the hotel review data. By using the text cubes, we design and implement the system which provides multidimensional keyword search features to search and to analyze review texts on various dimensions. This system will be able to help users to get valuable guest-subjective summary information easily. Furthermore, this paper evaluats the proposed systems through various experiments and it reveals the effectiveness of the system.

Spatio-Temporal Visualization of Cultural Heritage Collections (문화유산 데이터의 시공간상 시각화 연구)

  • Park, Narae;Jeon, Moongu
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.55-57
    • /
    • 2020
  • 본 연구는 문화유산 데이터의 효과적 정보 시각화 방안을 탐색한다. 문화유산 데이터는 역사적 사회적 맥락 속에서 충실히 이해될 수 있기에, 지리적 평면과 시간 축으로 이루어지는 3차원 시공간 큐브상에 문화유산 데이터들을 배치하는 것은 문화유산의 특성을 반영하면서도 통시적·공시적 조망을 동시에 제공하는 유익한 시각화 방안이 될 수 있다. 이를 확인하기 위해 문화유산 컬렉션 데이터를 지도 평면과 시간 축으로 구성된 시공간 큐브 상에서 탐색·체험할 수 있는 웹 어플리케이션과 AR 어플리케이션을 구현하고, 이에 대한 사용자 평가를 실시했다. 평가 분석 결과 문화유산 데이터의 3차원 시각화는 데이터에 대한 총체적 시야를 제공하고 새로운 체험에 대한 관심과 호기심을 유발하는 한편, 낯선 형식으로 인한 인지적 피로가 뒤따를 수 있어 대상 데이터의 특성, 매체 형식의 특성, 사용자의 경험적 이해, 인간의 지각방식을 고려한 다각적 정보 체험 설계가 필요할 것으로 파악되었다.

  • PDF

CubeSat mission for a lunar magnetic field measurement

  • Lee, Hyojeong;Lee, Jung-Kyu;Baek, Seul-Min;Jin, Ho;Kim, Kwan-Hyuk;Song, Young-Joo;Hemingway, Doug;Garrick-Bethell, Ian
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.39 no.2
    • /
    • pp.108.2-108.2
    • /
    • 2014
  • 과거 달 탐사 미션으로 달에는 global magnetic fields는 존재하지 않고 표면에 국부적으로 자기장이 존재함이 확인되었다. 그러나 이렇게 측정된 자기장 데이터는 일정 고도 (> 20 km) 이상에서 측정되었기 때문에, 지표에 비해 그 세기가 매우 약해 자기장의 형태와 분포를 연구하는데 한계가 있다. 보다 자세한 연구를 위해서는 표면에서부터 다양한 고도에 이르는 위치에서 측정된 자기장 데이터가 필요하며, 이는 달 표토의 자화나 Swirl 형성 메커니즘을 이해하는데 중요한 정보이다. 따라서 본 연구에서는 큐브위성을 이용하여 저궤도부터 지표까지의 자기장을 측정하는 방안을 소개한다. 큐브위성은 달 궤도 모선에서 사출되어 자기이상 지역 표면에 충돌하는 임무를 가진다. 자력계는 모선과 큐브위성에 각각 탑재되어 자기장을 측정하며, 모선으로 부터 사출된 큐브위성은 충돌 직전까지 자기장을 측정하고 모선에 습득한 데이터를 실시간으로 전송한다. 이렇게 측정된 자기장 데이터는 모선의 궤도부터 표면에 이르기까지 여러 고도에서 측정되었기 때문에 자기이상 지역의 자기장 구조를 파악하는데 중요한 자료로 활용할 수 있다. 이에 본 연구에서는 달의 자기이상 지역과 큐브위성 임무 설계에 대하여 기술하였다.

  • PDF

Construction of Indoor Ground Station for Cubesat Communication Test (큐브위성 송수신시험을 위한 실내용 지상국 구축)

  • Han, Sanghyuck;Moon, Sangman;Shin, Dongyeop;Moon, SungTae;Gong, Hyeon Cheol;Choi, Gi-Hyuk
    • Aerospace Engineering and Technology
    • /
    • v.13 no.2
    • /
    • pp.73-79
    • /
    • 2014
  • During developing cubesat flight software, Communication test between cubesat and ground station is needed. For this, we have constructed indoor ground station without outdoor antenna for decreasing total cost and time. In this time, if output power of ground station is high, it will affect for cubesat transceiver to be fail. For solving this problem, ground station must be designed for output power of it to be lower than input power of cubesat satellite, and it must be verified. In this paper, first, we describe cubesat indoor ground station using UHF and VHF. Second, we describe output power decreasing test for indoor operation of ground station by attaching attenuators in the end of the output connector.

Sort-Based Distributed Parallel Data Cube Computation Algorithm using MapReduce (맵리듀스를 이용한 정렬 기반의 데이터 큐브 분산 병렬 계산 알고리즘)

  • Lee, Suan;Kim, Jinho
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.49 no.9
    • /
    • pp.196-204
    • /
    • 2012
  • Recently, many applications perform OLAP(On-Line Analytical Processing) over a very large volume of data. Multidimensional data cube is regarded as a core tool in OLAP analysis. This paper focuses on the method how to efficiently compute data cubes in parallel by using a popular parallel processing tool, MapReduce. We investigate efficient ways to implement PipeSort algorithm, a well-known data cube computation method, on the MapReduce framework. The PipeSort executes several (descendant) cuboids at the same time as a pipeline by scanning one (ancestor) cuboid once, which have the same sorting order. This paper proposed four ways implementing the pipeline of the PipeSort on the MapReduce framework which runs across 20 servers. Our experiments show that PipeMap-NoReduce algorithm outperforms the rest algorithms for high-dimensional data. On the contrary, Post-Pipe stands out above the others for low-dimensional data.

An Approach to Navigating Data Cubes with a Hierarchical Visualization Technique (계층적 시각화 기법을 활용한 데이터 큐브의 탐색 방안)

  • Oh, Mi-Hwa;Hwang, Man-Mo;Choi, Jung-Woo;Choi, In-Soo
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.2
    • /
    • pp.289-305
    • /
    • 2011
  • To efficiently analyze complex and voluminous data, OLAP systems increasingly provide functionalities for visual exploration of the data allowing end-users to navigate the desired view of the data cube. This paper only deals with data cubes whose schemas represented like the exclusive symmetric hierarchy which is not addressed by current OLAP implementations. This paper presents a conceptual classification of abstraction hierarchies, and an approach to navigating data cubes with a hierarchical visualization technique. The hierarchical visualization technique is developed by using the transitive closure of a binary relation. The approach is exemplified using a real-world study from the domain of national license administration.