• Title/Summary/Keyword: 데이터 집계

Search Result 215, Processing Time 0.022 seconds

Pre-aggregation Index Method Based on the Spatial Hierarchy in the Spatial Data Warehouse (공간 데이터 웨어하우스에서 공간 데이터의 개념계층기반 사전집계 색인 기법)

  • Jeon, Byung-Yun;Lee, Dong-Wook;You, Byeong-Seob;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.9 no.11
    • /
    • pp.1421-1434
    • /
    • 2006
  • Spatial data warehouses provide analytical information for decision supports using SOLAP (Spatial On-Line Analytical Processing) operations. Many researches have been studied to reduce analysis cost of SOLAP operations using pre-aggregation methods. These methods use the index composed of fixed size nodes for supporting the concept hierarchy. Therefore, these methods have many unused entries in sparse data area. Also, it is impossible to support the concept hierarchy in dense data area. In this paper, we propose a dynamic pre-aggregation index method based on the spatial hierarchy. The proposed method uses the level of the index for supporting the concept hierarchy. In sparse data area, if sibling nodes have a few used entries, those entries are integrated in a node and the parent entries share the node. In dense data area, if a node has many objects, the node is connected with linked list of several nodes and data is stored in linked nodes. Therefore, the proposed method saves the space of unused entries by integrating nodes. Moreover it can support the concept hierarchy because a node is not divided by linked nodes. Experimental result shows that the proposed method saves both space and aggregation search cost with the similar building cost of other methods.

  • PDF

A Design of the efficient data aggregation using Hotspot Zone on Ad-hoc Networks (Ad-hoc 네트워크상에 Hotspot Zone을 이용한 효율적인 데이터 집계 설계)

  • Kim, Ju-Yung;Ahn, Heui-Hak;Lee, Byung-Kwan
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.17 no.7
    • /
    • pp.17-24
    • /
    • 2012
  • As the resources and power on Ad-hoc networks are limited, new data aggregation techniques are required for energy efficiency. The current research on data aggregation techniques is actively in progress, but existing studies don't consider the density of nodes. If nodes are densely placed in a particular area, the information which the sensor nodes placed on those areas detect can be judged as very strong association. But, the energy spent transmitting this information is a waste of energy. In this paper the densely-concentrated node area is designated as Hotspot_Zone in the multi-hop clustering environment using the AMC and a key node is selected in the area. If the request message of data aggregation is transmitted, the key node among the neighboring nodes sends its environmental information to a manager to avoid duplicate sensing information. Therefore, the life of networks can be prolonged due to this.

An Energy-Efficient Data Aggregation using Hierarchical Filtering in Sensor Network (센서 네트워크에서 계층적 필터링을 이용한 에너지 효율적인 데이터 집계연산)

  • Kim, Jin-Su;Park, Chan-Heum;Kim, Chong-Gun;Kang, Byung-Wook
    • Journal of the Korea Society of Computer and Information
    • /
    • v.12 no.1 s.45
    • /
    • pp.73-82
    • /
    • 2007
  • This paper proposes how to reduce the amount of data transmitted in each sensor and cluster head in order to lengthen the lifetime of sensor network by data aggregation of the continuous queries. The most important factor of refuting the sensor's energy dissipation is to reduce the amount of messages transmitted. The method proposed is basically to combine clustering, in-network data aggregation and hierarchical filtering. Hierarchical filtering is to divide sensor network by two tiers when filtering it. First tier performs filtering when transmitting the data from cluster member to cluster head, and second tier performs filtering when transmitting the data from cluster head to base station. This method is much more efficient and effective than the previous work. We show through various experiments that our scheme reduces the network traffic significantly and increases the network's lifetime than existing methods.

  • PDF

A One-Pass Aggregation Algorithm using the Disjoint-Inclusive Partition Multidimensional Files in Multidimensional OLAP (다차원 온라인 분석처리에서 분리-포함 분할 다차원 파일 구조를 사용한 원-패스 집계 알고리즘)

  • Lee, Yeong-Gu;Mun, Yang-Se;Hwang, Gyu-Yeong
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.153-167
    • /
    • 2001
  • 다차원 온라인 분석처리(Multidimensional On-Line Analytical Processing: MOLAP)에서 집계 연산은 중요한 기본 연산이다. 기존의 MOLAP 집계 연산은 다차원 배열 구조를 기반으로 한 파일 구조에 대해서 연구되어 왔다. 이러한 파일 구조는 편중된 분포를 갖는 데이터에서는 잘 동작하지 못한다는 단점이 있다. 본 논문에서는 편중된 분포에도 잘 동작하는 다차원 파일구조를 사용한 집계 알고리즘을 제안한다. 먼저, 새로운 분리-포함 분할이라는 개념을 사용한 집계 연산 처리 모델을 제안한다. 집계 연산 처리에서 분리-포함 분할 개념을 사용하면 페이지들의 액세스 순서를 미리 알아 낼 수 있다는 특징을 가진다. 그리고, 제안한 모델에 기반하여 원-패스 버퍼 크기(one-pass buffer size)를 사용하여 집계 연산을 처리하는 원-패스 집계 알고리즘을 제안한다. 원-패스 버퍼 크기란 페이지 당 한 번의 디스크 액세스를 보장하기 위해 필요한 최소 버퍼 크기이다. 또한, 제안한 집계 연산 처리 모델 하에서 제안된 알고리즘이 최소의 원-패스 버퍼 크기를 갖는다는 것을 증명한다. 마지막으로, 많은 실험을 통하여 이론적으로 구한 원-패스 버퍼 크기가 실제 환경에서 정확히 동작함을 실험적으로 확인하였다. 리 알고리즘은 미리 알려진 페이지 액세스 순서를 이용하는 버퍼 교체 정책을 사용함으로써 최적의 원-패스 버퍼 크기를 달성한다. 제안하는 알고리즘을 여 러 집계 질의가 동시에 요청되는 다사용자 환경에서 특히 유용하다. 이는 이 알고리즘이 정규화 된 디스크 액세스 횟수를 1.0으로 유지하기 위해 반드시 필요한 크기의 버퍼만을 사용하기 때문이다.

  • PDF

A Method Rewriting OLAP Queries using Materialized Views and Dimension Hierarchies (실체 뷰와 차원 계층을 이용한 OLAP 질의 재작성 방법)

  • Park, Chang-Seop;Kim, Myeong-Ho;Lee, Yun-Jun
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.168-180
    • /
    • 2001
  • 데이터 웨어하우스 시스템에 대한 OLAP 질의들은 대량의 데이터를 대상으로 복잡한 분석 및 집계 연산을 수행한다. 이러한 고비용의 OLAP 질의들을 효율적으로 실행하는 것은 시 스템의 성능 향상을 위해 매우 중요하다. 이를 위해 본 논문에서는 데이터 웨어하우스 시스 템에 존재하는 여러 종류의 실체 집계 뷰들을 이용하여 주어진 OLAP 질의를 재작성하는 방법을 제안한다. 본 논문에서는 차원 계층들로부터 유도되는 그룹 격자를 이용하여 OLAP 질의와 실체 뷰의 선택 단위, 선택 영역, 집계 단위등을 정의하고, 이들로부터 OLAP 질의 와 식체 뷰에 대한 정규을 정의한다. 그리고 정규형으로 표현된 질의와 실체 뷰 사이의 관 계를 이용하여 실체 뷰가 질의의 재작성에 이용 가능하기 위한 조건을 제시한다. 제안하는 질의 재작성 방법은 데이터 웨어하우스의 메타 정보들과 OLAP 질의 및 실체 뷰들의 특성 을 고려하여 다양한 실체 뷰들을 함께 이용할 수 있으므로, 시스템에 존재하는 실체 뷰들의 효용성을 높이고 주어진 질의를 효율적으로 처리할 수 있다.

  • PDF

Methodology of Constructing spatial information for Risk Assessment (재난리스크 평가를 위한 리스크 요인의 공간정보화 방안)

  • Lee, Jae Joon;Yun, Hong Sik;Kim, Tae Yun
    • Proceedings of the Korean Society of Disaster Information Conference
    • /
    • 2016.11a
    • /
    • pp.400-401
    • /
    • 2016
  • 본 논문은 재난 리스크 평가를 위한 집계구 통계자료의 활용방안에 대한 연구를 수행하였다. 인구통계자료, 주택통계자료, 전국사업체 자료는 재난취약성분석과 리스크 평가를 위한 필수 요소이다. 재난의 분석과 평가를 위하여 GIS에 구축하는 자료로는 인구의 총인구, 평균나이, 인구밀도, 노령화지수, 교육수준 등이 있다. 이 자료들을 공간정보로 구축함으로써 기존의 넓은 수준의 데이터를 활용하는 것 보다 정밀한 분석이 가능하다고 판단된다. 또한, 인구와 관련된 데이터뿐만 아니라 집계구 통계 자료는 주택의 건축년도와, 주택의 유형(다세대, 아파트, 연립, 영업용건물주택의 정보를 가지고 있다. 이는 건물의 경제적 평가를 위한 자료로 활용될 것이다. 또한 선정된 지역의 사업체를 분류하여 각 폴리곤의 주요 사업체를 조사하여 공간정보를 구축함. 구축된 공간정보는 리스크 평가를 위한 자료로서 활용될 수 있다 판단된다.

  • PDF

System Design for Effective Data Collection and Analysis (효율적인 정보 추출을 위한 자료 집계 및 분석 시스템의 설계 및 구현 방안)

  • Cho, Kwang-Hyun;Park, Hee-Chang
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 2006.04a
    • /
    • pp.307-315
    • /
    • 2006
  • Distributing information on the internet is common in our daily life. In the past, e-mail has been the primary choice of exchanging information. But instant messengers are gaining popularity abroad and domestically because of their immediate responses. Instant messaging has become the fastest growing communication technology in recent years. Instant messaging is effectively a chat room of two people. Users that have accounts with the same provider are able to send messages via computer in real time. Instant messaging has exploded into the business world as companies utilize the technology for everything from interoffice communication to client/customer communication. In this paper, we propose a system design for effective data collection and statistical analysis.

  • PDF

Dynamic Tree-Based Energy-Efficient Routing Algorithm in Sensor Networks (센서 네트워크에서의 동적 트리기반의 에너지 효율적인 라우팅 알고리즘)

  • Park, Hyung-Soon;Kim, Si-Gwan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06d
    • /
    • pp.267-272
    • /
    • 2007
  • 센서 네트워크는 일반적으로 지정된 지역 내에서 흩어져 있는 센서 노드들에 의해 주변 현상을 감지하여 싱크 노드로 전송한다. 각 센서 노드들은 요청된 질의나 사전에 지정된 질의의 결과를 주기적으로 싱크 노드로 전송한다. 하지만, 센서 노드들은 제한된 배터리 용량을 가지기 때문에 영구적인 수명을 보장할 수 없다. 따라서 중복된 데이터는 한번만 전송하거나, 대표 센서 노드가 값을 모아서 전송함으로서 네트워크 수명을 최대로 보장하는 것이 중요하다. 본 논문에서는 동적으로 데이터 전송 노드를 선정하는 라우팅 트리인 동적 트리기반의 에너지 효율적인 라우팅 알고리즘(EDRT)을 제안한다. 기존에 제안된 질의 기반 라우팅 트리(QSRT)는 질의의 결과들이 싱크 노드로 전송할 때, 데이터를 부분 집계 및 패킷 합병을 유도하여 데이터 전송 횟수를 줄였다. 본 논문에서는 각 센서 노드가 부모 노드뿐만 아니라 형제 노드 간에도 데이터를 부분 집계 및 패킷 합병을 할 수 있도록 하여 데이터 전송 횟수를 줄이고, 센서 노드의 에너지 소모량도 감소시킨다. 수행된 실험의 결과는 제안된 EDRT가 QSRT보다 향상된 성능을 보여 준다.

  • PDF

Storm-based Dynamic Tag Cloud of Real-time SNS Data (Storm 기반 실시간 SNS 데이터의 동적 태그 클라우드)

  • Son, Siwoon;Kim, Dasol;Lee, Sujeong;Gil, Myeong-Seon;Moon, Yang-Sae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.47-49
    • /
    • 2016
  • 최근 SNS(social networking service)의 사용이 급증함에 따라 SNS에서 발생하는 데이터의 분석이 활발해졌다. 하지만 SNS 데이터는 빠르게 생성되며 정형화 되어 있지 않은 빅데이터이기 때문에 그대로 수집할 경우 분석하기가 어렵다. 본 논문은 분산 스트리밍 처리 기술인 Storm을 사용하여 트위터에서 실시간으로 발생하는 데이터를 수집 및 집계하고, 태그 클라우드를 사용하여 집계 결과를 동적으로 시각화하고자 한다. 또한 사용자가 쉽게 키워드를 입력하고 시각화 결과를 실시간으로 확인할 수 있도록 웹 인터페이스를 구현한다. 그리고 결과를 통해 태그 클라우드의 결과가 시간에 따라 바르게 시각화되었는지 확인한다. 본 논문은 빠르게 발생하는 SNS 데이터로부터 각 키워드와 관련된 정보를 시각화하여 각 사용자에게 제공할 수 있는 우수한 결과가 사료된다.

Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries (공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법)

  • Baek, Sung-Ha;Lee, Dong-Wook;Kim, Gyoung-Bae;Chung, Weon-Il;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.89-98
    • /
    • 2009
  • As data stream is entered into system continuously and the memory space is limited, the data exceeding the memory size cannot be processed. In order to solve the problem, load shedding methods which drop a part of data to prevent exceeding the storage space have been researched. Generally, a traditional load shedding method uses random sampling with optimized rate according to data deviation. The method samples data not to distinguish those used in spatial query because the method uses only a random sampling with optimized rate according to data deviation. Therefore, the accuracy of query was reduced in u-GIS environment including spatial query. In this paper, we researched a new load shedding method improving accuracy of the query in u-GIS environment which runs spatial query and aspatial query simultaneously. The method uses a new sampling method that samples data having low probability used in query. Therefore proposed method improves spatial query accuracy and query processing speed as applying spatial filtering operation to sampling operator.

  • PDF