• Title/Summary/Keyword: 공간 데이터 중복

Search Result 203, Processing Time 0.036 seconds

Query Plan Reordering Techinque for Dynamic Optimization of Stream Queries (스트림 질의의 동적 최적화를 위한 질의 계획 재구성 기법)

  • 이원근;이상돈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.716-718
    • /
    • 2003
  • 최근 들어 데이터가 연속적으로 생성되므로 인해 디스크에 저장된 형태로 모델링되기 어려운 특성을 갖는 데이터 응용환경에 대한 관심이 증대하고 있다. 스트림 데이터를 대상으로 이루어지는 스트림 질의는 저장된 릴레이션 내의 데이터를 대상으로 한번 적용되고 마는 기존의 데이터 응용에서와는 달리, 한번 등록이 되면 계속적으로 입력 데이터 스트림을 감시하다가 질의를 만족시키는 투플이 발생될 때마다 결과를 출력하는 연속성을 갖는다. 이러한 데이터 스트림 처리 시스템에서 성능 향상을 위한 질의 계획 최적화에 대한 연구가 이루어지고 있으며, 이를 위한 하나의 방법으로 현재 사용중인 질의 계획에서 질의 계획의 일부를 재구성하기 위해서 최적화 대상 질의 계획으로의 입력을 중단하고 최적화된 새로운 질의 계획으로 바꾸어 임시 저장된 데이터를 새로운 질의 계획에 입력하는 방법이 이용되고 있다. 그러나 이 방법을 사용하는 경우 입력 데이터 버퍼링을 위한 저장공간에 대한 비용이 증가하고. 부정확한 갑을 산출을 유발할 수 있는 등 몇 가지 문제점을 안고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 최적화 대상이 되는 질의 계획을 일시적으로 중복시켜 최적화가 진행되고 있는 과정 중에도 기존의 질의 계획이 입력 스트림을 계속 처리하고, 최적화된 새로운 질의 계획으로 입력 스트림을 처리하도록 하는 일시 중복을 이용한 동적 질의 계획 재구성 기법을 제시하였다.

  • PDF

Incremental reorganization Policy of TPR-tree for Querying Predictive Positions (현재 및 미래 위치 처리를 위한 TPR-tree의 점진적 재구성 기법)

  • Park, Dong-Youn;Kim, Dong-Hyun;Hong, Bong-Hee
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2003.11a
    • /
    • pp.147-152
    • /
    • 2003
  • TPR-tree는 이동체의 위치 데이터에 대해 현재 및 미래 위치 질의를 지원하기 위하여 시간 함수 기반의 경계사각형(Sounding Rectangle)으로 이동체를 색인한다. 경계사각형의 각 축은 가장 빠른 속도로 이동하는 이동체의 속도 값을 이용하여 시간에 따라 확장한다. 경계사각형 영역의 확장으로 중복(overlap)이 심화되고 사장영역(dead space)이 커지는 문제가 있다. 따라서 시간이 지날수록 영역질의 시 성능이 떨어진다. 이 논문에서는 시간이 지남에 따라 발생하는 노드간의 심한 중복과 사장영역을 줄이기 위해 중복이 심한 두 개의 단말노드를 강제 합병하고 재분할하는 강제 합병 정책과 이동체의 삭제가 발생한 노드의 모든 이동체들을 강제적으로 재삽입하는 삭제노드 강제 재삽입 정책과 삭제가 발생한 노드와 중복되는 노드들의 이동체들을 강제적으로 재삽입하는 중복 노드 강제 재삽입 정책을 이용한다. 강제 합병 정책과 삭제 노드 강제 재삽입 정책, 그리고 중복 노드 강제 재삽입은 TPR-tree의 구조를 점진적으로 재구성하기 때문에 이동체의 현재 분포를 고려하여 색인 구조를 동적으로 개선하는 장점을 가진다.

  • PDF

Data Cude Index to Support Integrated Multi-dimensional Concept Hierarchies in Spatial Data Warehouse (공간 데이터웨어하우스에서 통합된 다차원 개념 계층 지원을 위한 데이터 큐브 색인)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.10
    • /
    • pp.1386-1396
    • /
    • 2009
  • Most decision support functions of spatial data warehouse rely on the OLAP operations upon a spatial cube. Meanwhile, higher performance is always guaranteed by indexing the cube, which stores huge amount of pre-aggregated information. Hierarchical Dwarf was proposed as a solution, which can be taken as an extension of the Dwarf, a compressed index for cube structures. However, it does not consider the spatial dimension and even aggregates incorrectly if there are redundant values at the lower levels. OLAP-favored Searching was proposed as a spatial hierarchy based OLAP operation, which employs the advantages of R-tree. Although it supports aggregating functions well against specified areas, it ignores the operations on the spatial dimensions. In this paper, an indexing approach, which aims at utilizing the concept hierarchy of the spatial cube for decision support, is proposed. The index consists of concept hierarchy trees of all dimensions, which are linked according to the tuples stored in the fact table. It saves storage cost by preventing identical trees from being created redundantly. Also, it reduces the OLAP operation cost by integrating the spatial and aspatial dimensions in the virtual concept hierarchy.

  • PDF

Web service based Distributed Medical Data Management (웹 서비스 기반의 분산 의료 데이터 관리)

  • Kim, Jeu-Young;Kim, Yoon-Hee;Youn, Chan-Hyun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06b
    • /
    • pp.339-343
    • /
    • 2007
  • 최근의 의료 데이터는 대용량의 디지털 이미지로 생산된다. 이러한 대용량 이미지를 처리하기 위해서는 많은 처리 능력과 대량의 데이터 저장 공간이 필요하다. 현재 각 병원에서 생산되는 의료 이미지는 개별적으로 구축되어있는 PACS[3]에 저장하고 관리한다. 이러한 의료 환경속에서 대량의 데이터 저장공간 확보뿐 아니라 환자들의 중복 검사 방지, 의료 연구를 위한 풍부한 데이터 제공을 위해 각 병원의 의료 데이터를 통합하고 접근하기 위한 방법의 필요성이 증대되고 있는 상황이다. 이러한 요구사항을 만족시키기 위해 그리드 컴퓨팅 기술을 도입하여 고효율의 처리 능력과 풍부한 데이터 저장 공간을 제공하고자 하였으며, 원격의 사용자가 지역적 데이터에 접근할 수 있도록 하는 데이터 관리 서비스를 웹서비스로 제공하는 방법에 대해 제시하였다. 또한, 프로토타입을 설계, 구현하여 실제 가능성에 대해 확인하였다.

  • PDF

A Study On Korea Metadata Standard's Trend and XML Application In GIS (국내 메타데이터 표준 동향 및 XML 실응용사례 연구)

  • Kim, Myung-Gu;Cha, Jung-Sook;Park, Sun-Ho;Kim, Sung-Ryong
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2002.03a
    • /
    • pp.29-37
    • /
    • 2002
  • 지난 수십년간 GIS(Geographic Information System) 분야에서는 소프트웨어의 비약적인 발전과 더불어 광대한 양의 공간데이터 구축이 이루어졌다. 이러한 공간데이터는 분산되어 있으며 지리정보 응용시스템의 특정 포맷으로 동일한 지역과 데이터로 중복 구축되어 비용의 낭비뿐만 아니라 신규 구축 시 필요한 시간 및 인력의 낭비를 가져오고 있다. 이를 방지하기 위하여 이기종간 분산되어 있는 공간데이터를 공유 및 관리하기 위한 메타데이터 구축이 절실히 요구되어 국제표준단체(ISO/TC 211)를 통한 메타데이터 표준이 진행되고 있으며 국내의 경우 한국전산원을 주도로 이루어지고 있다. 본 연구는 국제 표준화 동향에 발맞춰 현재 진행되고 있는 국내 메타데이터 표준의 동향을 살펴보고 이를 기반으로 생성된 국내 표준 DTD 및 XML을 이용한 실제 응용사례를 분석하였다. 본 연구를 통하여 향후 분산된 공간데이터의 관리 및 공유를 위한 메타데이터의 효율적인 구축을 할 수 있다.

  • PDF

Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity (쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현)

  • Kim, Yeong-A;Kim, Gea-Hee;Kim, Hyun-Ju;Kim, Chang-Geun
    • Journal of Convergence for Information Technology
    • /
    • v.10 no.10
    • /
    • pp.1-8
    • /
    • 2020
  • The need for storage, management, and retrieval techniques for alternative data has emerged as technologies based on data generated from business activities conducted by enterprises have emerged as the key to business success in recent years. Existing big data platform systems must load a large amount of data generated in real time without delay to process unstructured data, which is an alternative data, and efficiently manage storage space by utilizing a deduplication system of different storages when redundant data occurs. In this paper, we propose a multi-layer distributed data deduplication process system using the similarity of the Cuckoo hashing filter technique considering the characteristics of big data. Similarity between virtual machines is applied as Cuckoo hash, individual storage nodes can improve performance with deduplication efficiency, and multi-layer Cuckoo filter is applied to reduce processing time. Experimental results show that the proposed method shortens the processing time by 8.9% and increases the deduplication rate by 10.3%.

Management Strategy of Hotspot Temporal Data using Minimum Overlap (최소 중복을 이용한 Hotspot 시간 데이터의 관리)

  • Yun Hong-won;Lee Jung-hwa
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.9 no.4
    • /
    • pp.877-882
    • /
    • 2005
  • We propose a strategy to manage temporal data which are occurred on scientific applications. Firstly, We define LB and RB to separate temporal data, and entity versions to be stored in past, current, future segments. Also, We describe an algorithm to migrate temporal data with hotspot distribution among segments. The performance evaluation of average response time and space utilization is conducted. Average response time between two methods is similar, and space is saved in proposed method.

Distributed data deduplication technique using similarity based clustering and multi-layer bloom filter (SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법)

  • Yoon, Dabin;Kim, Deok-Hwan
    • The Journal of Korean Institute of Next Generation Computing
    • /
    • v.14 no.5
    • /
    • pp.60-70
    • /
    • 2018
  • A software defined storage (SDS) is being deployed in cloud environment to allow multiple users to virtualize physical servers, but a solution for optimizing space efficiency with limited physical resources is needed. In the conventional data deduplication system, it is difficult to deduplicate redundant data uploaded to distributed storages. In this paper, we propose a distributed deduplication method using similarity-based clustering and multi-layer bloom filter. Rabin hash is applied to determine the degree of similarity between virtual machine servers and cluster similar virtual machines. Therefore, it improves the performance compared to deduplication efficiency for individual storage nodes. In addition, a multi-layer bloom filter incorporated into the deduplication process to shorten processing time by reducing the number of the false positives. Experimental results show that the proposed method improves the deduplication ratio by 9% compared to deduplication method using IP address based clusters without any difference in processing time.

A Study on Circulation and Management of Spatial Data (공간정보 유통 및 관리에 관한 연구)

  • Cho, Hae-Gyung;Kim, Young-Sup;Kim, Sang-Eun
    • Journal of the Korean Association of Geographic Information Studies
    • /
    • v.1 no.1
    • /
    • pp.28-38
    • /
    • 1998
  • This paper describes difficulties for the producer's distribution and the user's acquisition of the spatial data because the circulation of them is complicated according to its kind in Korea. The way to overcome these difficulties would be to develop the clearing house system to incorporate GIS technology on Internet. This research proposes the problem statement, the architecture, and the operating environment of the system. The system contains the functions such as metadata generation, metadata registration, metadata version management, catalogue creation and update, reports generation, forms processing, metadata search, payments, GIS information pool, and spatial data browsing.

Development of a Data Conversion System between SDTS and Gothic (SDTS와 GOTHIC간의 데이터 변환 시스템의 개발)

  • 김준종;설영민;이강준;한기준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.170-172
    • /
    • 1998
  • 지리 정보 시스템(GIS)은 그 특성상 대용량의 GIS 데이터를 사용하며, 다양한 소프트웨어와 하드웨어 상에서 구현된다. 이렇게 상이한 하드웨어, 소프트웨어, 그리고 운영 체제상에서 공간 데이터들 간의 효율적인 데이터 교환이 불가능하다면 데이터 공유가 매우 어려울 뿐만 아니라 데이터의 중복 보관 및 관리로 인해 막대할 경제적 손실을 가져온다. 이와 같은 문제점을 해결하기 위해서 국가 차원에서 지리 정보 시스템에 관해 국가 표준을 설정하고, 공간 데이터베이스를 구축하고 있는데 공통데이터교환 포맷으로 채택된 것은 SDTS이다. 본 논문에서는 국가 공통데이타교환 포맷인 SDTS 데이터와 GOTHIC의 데이터를 상호 교환할 수 있는 데이터 변환 시스템을 설계 및 구현한다. 데이터 변환 시스템의 대상이 되는 GOTHIC은 영국 Laser-Scan에서 개발한 GIS 개발 도구로 실세계를 구성하는 개체들을 서로 구분될 수 있는 하나의 객체로 표현하고 있다. 본 논문에서는 우선 GOTHIC과 SDTS의 데이터 포맷 및 데이터의 저장 방법에 대해 분석한다. 그리고, 구현하려고 하는 데이터 변환 시스템의 전체적인 구조를 설계하고, 구조의 각 단계별로 수행될 작업을 구현함으로써 데이터 변환 시스템을 개발한다.